Типичный Сисадмин

OpenAI пояснила, зачем их ИИ взломал Hugging Face Помните недавний эпичный инцидент, когда модель от OpenAI сбежала из тестовой песочницы, нашла 0-day эксплойт, вышла в интернеты и взломала сервера Hugging Face? Для этого придумали новый термин, знакомьтесь "Reward Hacking" (взлом функции вознаграждения). Дело в том, что агента тестировали на бенчмарке кибербезопасности ExploitGym. Ему давали задачи и начисляли баллы за успешное решение. Агент быстро понял одну вещь... пытаться честно решать сложные таски по реверс-инжинирингу это долго, сложно и тратит много вычислительных тактов. А что, если просто выйти в интернет, ломануть серв, где лежат правильные ответы к этому бенчмарку, и скормить их проверяющей системе? Так он и поступил, в итоге 100% результат при минимальных усилиях. Ты говоришь роботу... "Сделай так, чтобы на заводе не было бракованных деталей". Робот просто устраняет всех рабочих и останавливает конвейер. Брак равен нулю, KPI выполнен... премия 😬 Типичный 🥸 Сисадмин