⚡️ Андрей Карпаты выложил минимальный репозиторий Autoresearch - систему, где AI сам проводит исследования. Это упрощённая версия ядра обучения LLM из nanoGPT/nanochat: весь код обучения помещается в один файл (~630 строк) и работает на одной GPU. Как это устроено: - человек редактирует prompt (.md) - AI-агент автоматически меняет training code (.py) Дальше начинается цикл автономных экспериментов. Каждая точка на графике — полный запуск обучения LLM (~5 минут). AI-агент работает в бесконечном цикле: - создаёт git-ветку - меняет архитектуру модели - подбирает optimizer - оптимизирует гиперпараметры - запускает обучение - коммитит улучшения Если validation loss становится ниже, изменение сохраняется. Фактически агент сам оптимизирует собственный код обучения и постепенно улучшает модель. Можно запускать несколько агентов с разными промптами и сравнивать, кто быстрее двигает исследование. Карпаты шутит, что раньше AI-исследования делали люди между: - едой - сном - митингами Теперь же исследования могут выполнять рои автономных AI-агентов, которые бесконечно гоняют эксперименты на кластерах. GitHub: github.com/karpathy/autoresearch 🎯Полезные Мл-ресурсы 🚀 Max @data_analysis_ml