Все о блокчейн/мозге/space/WEB 3.0 в России и мире

NVIDIA выпустила новую архитектуру для ИИ-моделей NVIDIA последовательно строит свою альтернативу трансформерам, как новый класс архитектур с предсказуемой стоимостью инференса. Команда Research выложила новую архитектуру рекуррентных моделей Gated DeltaNet-2. Сегодня все современные рекуррентные LLM (Mamba, RWKV, DeltaNet) сжимают бесконечную историю в матрицу фиксированного размера. Предыдущие модели использовали один скалярный параметр для двух разных операций: стирания и записи. GDN-2 разделяет эти роли. Сегодня трансформер доминирует, потому что умеет точно извлекать нужное из любой точки контекста. Рекуррентные архитектуры проигрывают там, где память перегружена и ассоциации начинают мешать друг другу. GDN-2 решает именно этот сегмент, так как всех волнует экономика: для каких задач хватит более дешёвой, но умной памяти.