OpenAI РАЗГРОМИЛИ главный бенчмарк ИИ-кодеров — SWE-bench Verified официально признан бесполезным 😁 Высокие баллы нейросетей оказались не признаком «ума», а результатом банальной зубрежки 😂 В чем проблема: — 59% сложных задач из тестов содержат баги — они требуют того, чего нет в условии; — Ответы на них были в общем доступе, модели просто выучили решения из GitHub. GPT и Claude цитируют код и комментарии из тестов дословно по памяти. Чем теперь меряться будут? 🍆