👀 а у нас тем временем вышла новая open-source SOTA от Ant: Ling-1T (да-да, опен модель на триллион параметров. MoE, 50b на 1 токен) по бенчам тащит люто, но самое впечатляющее - это не reasoning модель. то есть поверх неё скорее всего в течение 1-2 месяцев ещё и ризонер выйдет. был бы я рад написать "с нетерпением жду её на cerebras", но вангую, что 1 триллион тупо не влезет на их вафлю( учитывая, что они даже qwen-coder квантовали, а там в два раза меньше весов 🙂 потыкать можно на zenmux.ai