Ну и на пятницу вечер интересное исследование про масштабирование моделей (кратко: возможности удваиваются каждые 3.5 месяца!) https://www.nature.com/articles/s42256-025-01137-0 Все знают про Scaling Law – чем больше параметров, тем умнее модель. Этот закон двигал индустрию последние годы: GPT-3 на 175B, PaLM на 540B, Llama-3.1 на 405B. Логика простая – хочешь лучше, делай больше. Но китайские исследователи из Tsinghua задали другой вопрос: а что если смотреть не на абсолютный размер, а на эффективность? Сколько "интеллекта" упаковано в каждый миллиард параметров? Они ввели понятие capability density – плотность способностей модели. Идея интересная: берём референсную модель, строим кривую "параметры → качество", а потом для любой другой модели считаем, сколько параметров референса понадобилось бы для такого же результата. Отношение этого "эффективного размера" к реальному и есть плотность. Проанализировав 51 открытую модель за последние два года, они обнаружили закономерность, которую назвали Densing Law: максимальная плотность LLM удваивается примерно каждые 3.5 месяца. Это экспоненциальный рост с коэффициентом детерминации 0.934 – то есть закономерность очень устойчивая. Цифры впечатляют. Llama-1 в феврале 2023 имела плотность около 0.1. Современные модели вроде Gemma-2-9B и MiniCPM-3-4B достигают плотности под 2.0. За два года эффективность выросла в 20 раз. Практически это означает, что размер моделей для достижения одинакового качества падает экспоненциально. MiniCPM на 2.4B параметров, выпущенная в феврале 2024, работает на уровне Mistral-7B от сентября 2023. За четыре месяца необходимый размер сократился втрое. Ещё интереснее с ценами на инференс. GPT-3.5 в декабре 2022 стоил $20 за миллион токенов. Gemini-1.5-Flash в августе 2024 – $0.075. Падение в 266 раз меньше чем за два года. Причём стоимость падает быстрее, чем растёт плотность – потому что параллельно улучшается инфраструктура инференса. Авторы делают любопытное наблюдение про комбинацию законов. Densing Law описывает рост алгоритмической эффективности, Moore's Law – рост мощности железа. Вместе они дают удвоение "эффективного размера" модели, которую можно запустить на фиксированном устройстве, примерно каждые 88 дней. Это открывает путь к полноценным LLM на смартфонах и ноутбуках! Отдельно интересно, что сжатие моделей через pruning и distillation не всегда увеличивает плотность. Cжатые модели часто оказываются менее эффективными, чем исходно маленькие модели – видимо, из-за недостаточного дообучения после сжатия. Главный вывод авторов довольно провокационный: гонка за размером параметров – тупиковая стратегия. Любая SOTA-модель через несколько месяцев будет уступать по соотношению цена/качество более новым компактным моделям. DeepSeek-V3 уже показал этот путь – вместо наращивания параметров они сфокусировались на эффективной архитектуре и получили топовое качество при меньших затратах. По сути, Densing Law – это аналог закона Мура для LLM. Только Мур описывал прогресс в железе, а здесь речь об алгоритмах и данных. И пока этот закон работает, каждые 3.5 месяца мы получаем модели вдвое эффективнее предыдущих. Честно говоря с такой скоростью AGI реально кажется вполне достижимым.