Sakana AI вместе с NVIDIA предложили, как сделать LLM быстрее, не меняя архитектуру Знаете, почему большие языковые модели такие дорогие в работе? Одна из причин - feedforward-слои трансформера, которые обрабатывают каждый токен. Sakana AI с NVIDIA разработали новый формат хранения данных - TwELL и специальные CUDA-ядра, которые работают на одном языке с архитектурой современных GPU. Результат на H100: инференс быстрее на 30%, обучение на 24%, памяти нужно на четверть меньше. И чем больше модель, тем больше выигрыш. Получается инференс и обучение дешевеют не только благодаря квантизации и дистилляции, но и за счет прореживания данных прямо на ядрах GPU. Это напрямую влияет на экономику ИИ-агентов, ведь, чем доступнее токен, тем больше агент может сделать шагов в рамках выделенного бюджета. GitHub.