🌐 Ai2 выложила Olmo-core 3: открытый стек для обучения MoE на триллион параметров На этой инфраструктуре Ai2 будет обучать следующие модели Olmo. От FSDP отказались: эксперты постоянно живут на своих GPU, токены маршрутизируются к ним, а поверх работают expert parallelism, pipeline parallelism и распределённый оптимизатор. MoE на 47B параметров на 8 B300 выдаёт 52 000 токенов в секунду на GPU, это в 2.7 раза быстрее прошлой версии. С MXFP8 добавляется ещё 21% к BF16. Число экспертов можно поднять с 8 до 128, и throughput при этом теряет меньше 5%. Самый крупный прогон: 1.2T параметров на 512 B300, 858 TFLOP/s на GPU. Код открыт под Apache 2.0. https://github.com/allenai/olmo-core