Системный Блокъ

Модель из прошлого: исследователи обучили ИИ только на текстах до 1931 года 27 апреля 2026 года исследователи Ник Левин, Дэвид Дювено и Алек Рэдфорд опубликовали языковую модель Talkie. Она насчитывает 13 млрд параметров и обучена исключительно на документах: книгах, газетах, журналах, патентах и судебных актах, изданных до 1 января 1931 года. Модель доступна на Hugging Face под свободной лицензией Apache 2.0, задать ей вопросы можно на сайте разработчиков. Talkie не знает современных, привычных для нас слов и концепций. Например, она считает, что мобильным телефоном называют мегафон. Это отличает ее от обычных LLM, которых тренируют на данных из интернета. Авторам не удалось полностью изолировать данные, на которых обучалась Talkie, от современности, так как в более поздних изданиях и републикациях старых текстов встречались предисловия или сноски, написанные после 1930 года. В результате она страдает от «временной утечки». В тестах выяснилось, что Talkie знает некоторые факты, о которых знать не должна, — например, что Франклин Рузвельт стал президентом в 1933-м. Почему это важно? У Talkie есть несколько сфер научного применения. Во-первых, это способ бороться с одной из главных проблем оценки языковых моделей — «загрязнением» тестов. Современные модели часто получают высокие баллы на бенчмарках просто потому, что видели правильные ответы во время обучения. Talkie не могла этого сделать: ни один современный тест не существовал до 1931 года. Во-вторых, вся обучающая выборка находится в общественном достоянии — авторские права на эти тексты истекли. В разгар споров о том, законно ли использовать чужие произведения для обучения ИИ, Talkie демонстрирует альтернативный путь. В-третьих, проект прямо отвечает на вызов, который в феврале 2026 года сформулировал глава Google DeepMind Демис Хасабис: могла бы модель, обученная на данных до 1911 года, самостоятельно вывести общую теорию относительности — как это сделал Эйнштейн? Talkie — это инструмент для такого рода экспериментов. 🤖 «Системный Блокъ» @sysblok