Гостев из будущего

Похоже CTF в нынешнем виде закончились? После финала DEF CON CTF один из игроков поговорил с участниками о том, как LLM изменили соревнование. Ответ получился мрачный: почти никому не было весело. Раньше как было? Ты годами учишься, разбираешь бинарники, сети, криптографию, пишешь эксплойты, а потом приходишь на CTF и показываешь, чему научился. И сами CTF были частью обучения: можно было восемь часов биться над задачей, ничего не понимать, читать документацию, ошибаться и именно так постепенно становиться исследователем. Сейчас оптимальная стратегия другая: token maxxxxxing! Ведущие команды на DEF CON агрессивно гоняли ИИ-агеннтов и запускали как можно больше запросов. Про команду №1 ходит слух с цифрой около $50 тысяч на токены. Но сама механика уже понятна: отказался использовать LLM — проиграл тем, кто использует. Участники оценивают нынешнее соотношение примерно как 95% token-maxxing и 5% человеческого навыка. Причем эти 5% пока еще важны. Сильные игроки остались сильными и с LLM: они лучше ставят задачи, понимают, куда копать, и замечают, когда модель несёт чушь. Совсем тупым оператором быть пока нельзя. Но вопрос другой: а что теперь показывает CTF? Если я решил десять задач сам, а ты решил двадцать, запустив двадцать агентов и потратив в десять раз больше денег, кто из нас лучший специалист по безопасности? Участники описывают процесс почти как обслуживание игровых автоматов: отправил запрос, получил не то, отправил ещё раз, поменял модель, добавил контекст, снова дёрнул ручку. Выигрывает тот, кто эффективнее крутит слот-машину и у кого больше жетонов. CTF становятся pay-to-win. CTF десятилетиями были фабрикой кибербезопасников. На них люди учились учиться. Теперь новичка scoreboard вознаграждает за обратное: не мучайся, не разбирайся — скорми задачу модели и бери следующий флаг. @gostev_future