Sakana AI вместе с NVIDIA предложили, как сделать LLM быстрее, не меняя архитектуру Знаете, почему большие языковые модели такие дорогие в работе? Одна из причин - feedforward-слои трансформера, которые обрабатывают каждый токен. Sakana AI с NVIDIA разработали новый формат хранения данных - TwELL и специальные CUDA-ядра, которые работают на одном языке с архитектурой современных GPU. Результат на H100: инференс быстрее на 30%, обучение на 24%, памяти нужно на четверть меньше. И чем больше модель, тем больше выигрыш. Получается инференс и обучение дешевеют не только благодаря квантизации и дистилляции, но и за счет прореживания данных прямо на ядрах GPU. Это напрямую влияет на экономику ИИ-агентов, ведь, чем доступнее токен, тем больше агент может сделать шагов в рамках выделенного бюджета. GitHub. _______ Источник | #blockchainRF @F_S_C_P ▪️Генерируй картинки и видео в Mini App: Flux + Veo 3 + Wan 2.2 + MidJourney v7 + другие