🚀 ForgeTrain: фреймворк для pre-training, который написали ИИ-агенты OpenBMB представили ForgeTrain - production-level фреймворк для pre-training, код которого был сгенерирован ИИ без ручного написания человеком. Заявка интересная не из-за красивой фразы «AI пишет AI», а из-за масштаба. Это не демка на toy-проекте, а инфраструктурный код для обучения моделей, который проверяли на реальном железе. Что заявляют авторы: - на NVIDIA H100 ForgeTrain обгоняет Megatron примерно на 10% - достигнут показатель 44.13% MFU - пайплайн pre-training проверен не только на H100, но и на Huawei Ascend 910 - на ForgeTrain обучили MiniCPM5-1B, который занял первое место среди моделей до 2B параметров в Artificial Analysis Index - код фреймворка и Agent Harness обещают открыть для воспроизведения 💻 GitHub: https://github.com/OpenBMB/ForgeTrain