Хах, а вот и ответочка от Меты (запрещенной в России) - тест, как модели могут генерировать проги с нуля по бинарнику и документации - ProgramBench Взяли 200 задач из открытых GitHub-репозиториев на Rust (107), Go (46), C/C++ (45) и паре других языков Диапазон – от мелких CLI-утилит до FFmpeg, SQLite, интерпретатора PHP, DuckDB, ripgrep, fzf, jq Агент получает только исполняемый файл (с правами 111, чтобы нельзя было реверсить) и доку – исходники и тесты вырезаны Интернет заблокирован – иначе модели начинают клонировать оригинальный репозиторий с GitHub (и они это и правда делали) Оценка – через behavioral-тесты (stdout/stderr, exit codes, файлы), сгенерированные отдельным агентом Всего 248 853 теста, медиана 770 на задачу Ни одна модель не решила полностью ни одной задачи из 200! Лучший – Claude Opus 4.7: прошёл ≥95% тестов на 3%(!) задач Claude Opus 4.6 – 2.5%, Sonnet 4.6 – 1.6%, остальные шесть моделей – 0%, в том числе Gemini 3.1-Pro и GPT-5.4 Еще открыли (и это не секрет), что все модели фигачат все в 1 файл и монолит, с огромными функциями, какого-то там архитектурного разнообразия и синьорности не наблюдалось. Просто фигачили как бы побыстрее сделать. Прикол еще, что даже когда документация на Rust/С++, большая часть все равно писала на Питоне ) Но! Когда специально заставляли менять на нужный, то результаты улучшались! И соответственно в дискуссиях к исследованию написали, что если управляет инженер-архитектор, который рассказывает, как правильно делать, то результаты становятся сильно. В общем, разработчики все еще нужны, все ок ) https://arxiv.org/abs/2605.03546