Две новости подряд про дистилляцию моделей. И обе прекрасны. Сначала Anthropic снова решила устроить сцену. Компания разослала письма членам Конгресса США и пожаловалась, что китайская Алибаба нагло и бесцеремонно дистиллирует их модель, поэтому американская власть должна применить власть и наказать. Звучит грозно. Почти как кража чертежей атомной бомбы. Антропик почему-то решил что дистилляция моделей это преступление. Ну просто им так захотелось. Для тех кто не знает что это такое – пояснение: Дистилляция моделей — это не китайская спецоперация, не запрещённое кунг-фу и не новое преступление против человечества. Это обычный метод машинного обучения, описанный ещё в 2015 году Джеффри Хинтоном, Ориолем Виньялсом и Джеффом Дином. Смысл простой: есть большая модель-учитель и маленькая модель-ученик. Хинтон доказал, что наибольшую ценность для обучения представляют не сами правильные ответы, а относительные вероятности ошибочных ответов. Условно: если модель видит кошку, она может ошибиться и назвать её собакой, но почти никогда не назовёт автомобилем. Вот эта разница между «похожей ошибкой» и полной чушью тоже является знанием. Именно поэтому дистилляция стала одним из базовых способов делать модели дешевле, быстрее и пригоднее для запуска не только в огромных дата-центрах, но и на обычных устройствах. В индустрии ИИ это примерно как сжатие, оптимизация, обучение по примеру и инженерная экономия в одном флаконе. Можно спорить о другом: нарушала ли Alibaba правила доступа, использовала ли поддельные аккаунты, обходила ли ограничения Anthropic. Но объявлять саму дистилляцию чем-то вроде технологического пиратства — это примерно как если бы Google в 2003 году обвинил Яндекс в том, что тот смотрит на поисковую выдачу и учится делать свою. А вторая новость пришла почти синхронно: депутат Горелкин заявил, что дистилляция приводит к размыванию национального культурного кода. Это я просто оставлю без комментариев. @gostev_future