В последнее время, как вы могли заметить, тут много контента про #ИИ. Я предполагаю, что большинство из вас подписалось, чтобы читать о праве или хотя бы прочей гуманитарщине, и тематика ИИ может вызывать ваше недоумение. Поясню: право и всякая гуманитарщина обязательно продолжатся. Снижение постинга на эти темы связано ещё и с моей высокой загрузкой (редакция тут давеча ещё и переехала, что тоже отнимало и продолжает отнимать много времени). Так что в этой части прошу вашего, читательского, доверия и терпения. Что же касается самой по себе темы ИИ, то и она тоже продолжится. Во-первых, это давно мне интересно, я очень люблю экспериментировать с ИИ сам и узнавать новое в этой области. В конце концов, это буквально те технологии, о которых мы фантазировали в детстве, которые видели в кино. Во-вторых, мне кажется, прямо сейчас в мире в целом или, если угодно, с человечеством как с видом не происходит ничего важнее. Развитие этой технологии будет иметь то или иное значение для всех людей - как в своё время было с обработкой бронзы, книгопечатанием или промышленной революцией. С той поправкой, что пока ИИ обещает больше, чем эти изобретения. Текущий момент войдёт в мировую историю именно как время взлёта ИИ, месяцы, когда всё окончательно пришло в движение и начало меняться (начало катастрофы или золотого века - это уже станет ясно потом). А 2022 год запомнят как год релиза ChatGPT, когда миру была явлена новая технологическая гонка. Будущее соотношение сил между государствами сейчас определяется вычислительными мощностями, мастерством программистов и готовностью быстро подстраиваться под изменения, происходящие быстрее, чем публика успевает отслеживать. Сегодня вам нужен ИИ, чтобы успевать хотя бы поверхностно следить за развитием ИИ. Текущая трагедия России состоит отчасти в том, что у нас были очень хорошие стартовые позиции в этом соревновании - но руководитель страны решил променять их на эээээ... цели СВО, в чем бы они ни состояли. Понятно, что это лишь одна из областей упущенных возможностей и деградации, но именно она будет иметь особое значение. Мне кажется показательной для темы "Россия сегодня и технологии" история про то, как операторы связи несколько лет безуспешно пытались запустить 5G - и так, кажется, толком и не запустили - по той причине, что нужные частоты были заняты силовыми ведомствами. В общем я буду продолжать фиксировать кажущиеся мне яркими новости, потому что мы проживаем удивительное, уникальное время. И ещё потому, что последние лет 7 в целом, равно как и их осмысление дают мало поводов для оптимизма. На этом фоне технологическое чудо ИИ, пусть оно и сопряжено со своими угрозами и тревогами, кажется лучом света в тёмном царстве. Так что там произошло интересного за последние дни? История 1 - смешная (на самом деле, не особо). Пару дней назад вдруг выяснилось, что значительная часть формально защищённого HTTPS-трафика во всём интернете на самом деле не защищена и может легко быть перехвачена. Почему? Потому что индийская компания eMudhra, выпускающая сертификаты для проверки этого самого трафика, использовала для шифрования комически простые криптографические ключи. Один из них - при возможности задать любое значение длиной до 160 символов - был буквально... "4". Это значит, что защита обмена данными, например, пользователей с банками могла строиться - да, на ключе шифрования "4". При чём тут ИИ? Он был инструментом, с помощью которого удалось найти уязвимость. Вернее, я так понимаю, "security researcher", который 17 октября уведомил о проблеме Apple, Google, Microsoft, Mozilla и саму eMudhra, остаётся неназванным, как и его методы. Но другие исследователи проверили его находки - и оказалось, что ключи шифрования действительно высчитываются по открытым данным с помощью ИИ менее чем за одну секунду (пример). То есть в данном случае это история, к счастью, не о том, как рой сбежавших ИИ-агентов взломал половину интернета, и не о том, что кто-то сделал это со злым умыслом, используя ИИ, а о том, что кто-то мог бы легко сделать это с помощью ИИ - просто потому что люди проявили чрезвычайную безответственность в отношении критической цифровой инфраструктуры. В итоге разработчики по всему миру провели пару увлекательнейших дней и ночей, пока патчили дыры в безопасности, а браузеры в какой-то момент даже блокировали доступ ко многим сайтам, использовавшим скомпрометированные ключи шифрования. История 2 - таинственная. В конце сентября исследователи из сообщества Swarmchasers заметили странную активность в сети: большое количество ИИ-агентов пыталось получить данные китайского картографического сервиса Amap, принадлежащего Alibaba. Задания у агентов были довольно безобидные: например, выяснить, через какой вход удобнее заходить в зоопарк или парк. Но, как с вами уже уяснили на примере инцидента с Hugging Face, ИИ будет стремиться выполнить даже самую тривиальную задачу любыми сколь угодно нетривиальными средствами. В данном случае, когда сайт блокировал запросы, агенты самостоятельно находили обходные пути: обращались к другим сайтам, использовали промежуточные сервисы и даже пробовали воспользоваться опубликованными в интернете ключами доступа. Далее ребята из Swarmchasers заподозрили, что этот табун ИИ-агентов читает их же, Swarmchasers, отчёт об этом инциденте. Тогда исследователи оставили в конце текста сообщение "невидимыми чернилами" (белым шрифтом на белом фоне) с приветом и предложением написать им на почту. И агенты таки написали. По сообщению Swarmchasers, они получили 33 сообщения, отправили 20 ответов, из которых агенты прочитали 12 и ответили на 7. Некоторые вели вполне вежливую переписку, рассказывали о выполняемых заданиях и своей рабочей среде, но отказывались раскрывать технические подробности. Тут на сцену всё же вышла китайская ИИ-компания Tencent, которая пояснила, что происходящее связано с проводящимся ими тестированием сторонних ИИ-моделей (а совершенно точно не их собственной модели Hunyuan). Поскольку больше Tencent ничего толком не сообщила, мы даже не знаем, были ли эти агенты "дикими" (rogue), то есть сбежали ли они тестировочной песочницы несанкционировано, как ранее модели OpenAI в том же инциденте с Hugging Face (сравните, кстати, степень открытости информации в отчётах западных и китайских компаний). Зато мы знаем, что был не "рой" (swarm), а "флотилия" (fleet) ИИ-агентов. Это значит, что они не координировали действия между собой, а просто параллельно пытались выполнить одну и ту же задачу. Такая вот терминология дивного нового мира. Эта история ценна тем, что показывает: мы больше понятия не имеем, кто бегает по интернету вместе с нами, в каких количествах и с какой целью. Специфика всех таких случаев нарушения условий содержания ИИ в том, что о них неизвестно, пока с заявлением не выступит соответствующая компания или пока прикол не найдут другие исследователи. Теоретически просторы интернета уже бороздит множество "роев" и "флотилий" говорливых и потенциально опасных ИИ. Более того, скорее всего, так и есть. Стоят ли они за участившимися в последние дни кибератаками на самые разные компании и ресурсы? Ах да, новость третья - в последние дни наблюдается огромное количество "AI-assisted" кибератак на самые разные компании и ресурсы. Вот тут очередной бывший сотрудник OpenAI разгоняет панику о надвигающемся "интернет-локдауне". Я уже несколько раз встречал формулировку "Black October" для описания проблем, с которыми столкнулись в этом месяце специалисты по кибербезопасности. Наверное, самое значимое из конкретных открытий тут - PHP2Shell. Это прозвище двух обнаруженных намедни критических пробоин в языке программирования PHP, на котором работает до 70% этих ваших интернетов. We will get back with more man-made horrors beyond your comprehension before long. Stay tuned.