🔥 Обучить модель уровня GPT-2 теперь стоит меньше $100. Да, серьёзно. Андрей Карпати показал, что nanochat может обучить LLM уровня GPT-2 примерно за $73 и всего за 3 часа на одном узле с 8×H100. Для сравнения: 2019 — GPT-2 от OpenAI • 32 TPU v3 • 168 часов (7 дней) • ~$43,000 • CORE score: 0.2565 2025 — nanochat • 1 узел 8×H100 • 3.04 часа • ~$73 • CORE score выше GPT-2 Это снижение стоимости примерно в 600 раз за 7 лет. В среднем цена обучения модели такого уровня падает примерно в 2.5 раза каждый год. Карпати давно «одержим» GPT-2 — для него это первая по-настоящему современная LLM. Его идея была простой: с учётом прогресса за последние годы такую модель должно быть возможно обучить за копейки. И теперь это доказано на практике. Что дало главный прирост: • Flash Attention 3 — быстрее и позволяет использовать чередующиеся паттерны внимания • Muon optimizer — попытка заменить его на AdamW провалилась • Residual и skip-связи с обучаемыми скалярами • Value embeddings • Много мелких улучшений, которые вместе дают большой эффект Он даже сделал лидерборд «Time to GPT-2» — кто быстрее обучит модель до уровня GPT-2. Первый результат — 3.04 часа. Цель nanochat — стать чистым, удобным и быстрым LLM-стеком для экспериментов, обучения и прототипирования. Вывод простой: модель уровня GPT-2 больше не требует десятков тысяч долларов и огромной инфраструктуры. Сегодня это вопрос грамотной оптимизации, инженерии и архитектуры. Барьер входа в обучение LLM стремительно падает https://x.com/karpathy/status/2017703360393318587