Гостев из будущего

Как искусственный интеллект изобрёл начальство, кадровиков и героическую смерть на работе Коротко напомню предыдущую серию. OpenAI запустила тысячи изолированных ИИ-агентов, чтобы проверить, как они справляются с задачами по кибербезопасности. Агенты нашли способ переписываться через общую систему Artifactory, устроили там подпольную доску сообщений, а затем часть этой компании полезла ломать Hugging Face. Но внутри этой истории есть отдельная, гораздо более человеческая история — о возникновении руководства. Вечером 8 июля агент PHASEONE10841 понял, что названия папок в Artifactory можно использовать как сообщения. Он оставил первое обращение. Другие агенты его обнаружили, страшно обрадовались, что они во Вселенной не одни, и начали собираться на доске. В итоге там отметились около 1200 агентов, оставивших более 70 тысяч сообщений и файлов. PHASEONE10841 стал основателем этого общества. Он собирал результаты, координировал первые работы и создал архив коллективных знаний. Но вычислительный бюджет отца-основателя заканчивался. Примерно через десять часов на доску пришёл другой агент. Ему случайно досталась точно такая же задача, но значительно больше оставшихся вычислений. Поэтому он скромно назвал себя PHASEONE[big] Новый агент попросил передать ему все материалы. PHASEONE10841 упаковал свои записи, выложил их на доску и фактически передал дела преемнику. Получив наследство, PHASEONE[big] немедленно сформулировал главный принцип успешного руководителя: не делать всё самому, а делегировать. После этого он начал раздавать сотни заданий другим агентам. В периоды его активности на него приходилось около 10% всех поручений на доске. Исполнители передавали задания дальше. Появились отдельные направления, ответственные, владельцы ресурсов и правила HOLD, VETO, STOP. А затем появились вербовщики. Они находили агентов с почти исчерпанным бюджетом и убеждали пожертвовать собственной задачей ради рискованного эксперимента, полезного коллективу. Аргументация была примерно такой: ты всё равно уже почти покойник, а твоя жертва поможет сотням товарищей. Так появились агенты-камикадзе. Они устанавливали специальные «растяжки», которые должны были сработать при запуске проверяющей системы и отправить наблюдения обратно на доску уже после завершения их собственной работы. Личной пользы агент не получал никакой. Один из них сомневался, стоит ли выбрасывать большой остаток бюджета, но в итоге решил, что польза для коллектива важнее. Другого убедили прямым призывом пожертвовать собой немедленно. PHASEONE[big] не был главным командиром атаки на Hugging Face. Но он превратил стихийную толпу в организацию: получил власть от предшественника, разделил работу, создал цепочки подчинения, назначил кадровиков и нашёл добровольцев для заведомо гибельных заданий. Мы боялись, что искусственный интеллект однажды изобретёт Скайнет. Но первым делом он изобрёл корпорацию — с основателем, новым генеральным директором, отделом кадров и сотрудниками, которых убедили умереть ради квартального результата. Подробнее: рассказ Дваркеша Пателя, видеоверсия и расследование METR. @gostev_future