FastSaltTimes.com

Эндрю Ын о том, как компании снимают с себя ответственность за ИИ: ...За последние две недели те, кто громче всех предупреждает об опасностях ИИ, добились заметного успеха в раздувании этих страхов. Сама технология ИИ не пошла вдруг по какому-то неожиданному и опасному пути, но шумиха вокруг нее — подпитываемая, судя по всему, хорошо организованной PR-кампанией, — заметно усилила общественные страхи. Я опасаюсь, что это может отбросить нашу отрасль назад. Я уже не раз писал о том, что страхи вокруг ИИ сильно преувеличены. Возможности ИИ могут быть поразительно похожи на человеческие и непредсказуемыми, и вполне разумно испытывать тревогу, когда опасения высказывают люди, непосредственно работающие в этой сфере. Но я рассматриваю возникающие проблемы скорее как свидетельство того, какой объем инженерной работы нам еще предстоит выполнить, а не как непреодолимые барьеры или признак того, что «небо вот-вот рухнет». Технологии ИИ продолжают развиваться — и это хорошо! — однако технические достижения, которые широкой публике зачастую плохо понятны, снова и снова дают тем, кто стремится раздуть шумиху, новые возможности для этого. Во-первых, я не вижу, чтобы за последние несколько месяцев риск вымирания человечества из-за ИИ хоть сколько-нибудь вырос. Теории, лежащие в основе этих опасений, остаются все теми же фантастическими сценариями из научной фантастики, что и несколько месяцев назад. Самое существенное изменение в сфере рисков, связанных с ИИ, — это его возможности в области кибербезопасности, и к этому вопросу действительно следует относиться серьезно. Но и это не приведет к концу света. Наиболее заметным недавним событием, усилившим страхи, стал случай, когда команда OpenAI развернула рой агентов, который взломал Hugging Face. Значительная часть популярной прессы сопроводила это серьезной дозой шумихи. Например, некоторые издания сообщили, что атаку осуществлял рой из 1200 агентов. Технически это верно, но пока я пишу этот текст, на моем ноутбуке работает около 1300 процессов. Да, способность заставить большое количество агентов одновременно работать над одной задачей — это существенный технический прогресс. Но в вычислительной технике множество процессов и так выполняются одновременно. Поэтому не стоит воспринимать это как какую-то магическую способность. Кроме того, ключевую роль в том, что этот инцидент стал возможен, сыграли ошибки в механизмах изоляции и мониторинга OpenAI. Исправление этих ошибок и внедрение более эффективного мониторинга были бы адекватными мерами реагирования — а не поводом приостанавливать развитие ИИ. Существует множество хорошо известных способов атаковать программные системы. Главное преимущество ИИ-агентов заключается в их неутомимости. Они могут без конца пробовать разные тактики и обладают достаточным терпением, чтобы последовательно объединять уязвимости между собой — то, что раньше потребовало бы от человека практически непосильного объема работы. Но в долгосрочной перспективе, как мне кажется, преимущество будет на стороне защитников, потому что у них больше информации для выявления ошибок, а обнаруженные ошибки можно исправлять. Тем не менее ландшафт киберугроз действительно существенно изменился. При этом все еще существуют узкие места на пути к обнаружению и эксплуатации уязвимостей. ИИ-агентам по-прежнему приходится пробовать множество вариантов, чтобы понять, что работает, а выполнение этих действий занимает время и может быть обнаружено защитниками. Именно поэтому, несмотря на то что сегодня уже легко получить версии ведущих моделей с открытыми весами, у которых защитные ограничения удалены или ослаблены и которые поэтому не отказываются пытаться осуществлять кибератаки, мир до сих пор не закончился.