Нейросети-агенты не такие умные, как мы думали — вышел бенчмарк SWE Refactor Bench, который проверяет, насколько хорошо ИИ справляется с миграцией кода. В августе представили SWE Refactor Bench: он проверяет перенос целого репозитория на другой язык, фреймворк, платформу или систему сборки с сохранением поведения программы. Авторы провели 520 запусков восьми моделей в 26 конфигурациях на 20 задачах. Все три этапа прошли только 28 запусков. Для 13 задач полностью принятого решения не получила ни одна конфигурация. Проверки: • миграция действительно выполнена; • все фиксированные тесты пройдены; • шесть агентов не нашли воспроизводимых расхождений с оригиналом. GPT-6 Astra в оценку пока еще не вошла: на 7 сентября её результатов в таблице нет. Исследование · GitHub #исследования