Осторожно, ИИ! Споры о балансе между бизнесом и наукой шли в OpenAI давно. Еще в 2021-м году команда из семи человек во главе с Дарио Амадеем покинула компанию Альтмана. «Отступники» создали Anthropic, поставив перед собой задачу создания мощной интеллектуальной системы, безопасной для людей. Сейчас Anthropic оценивают в $280 млрд, прошедший год принес компании чистую прибыль в 9 млрд, портрет Амадея появился на обложке Times - словом, проект успешен. Тем не менее Дарио Амадей, СЕО компании, постоянно рассказывает о том, какие проблемы человечеству может принести AI и с какими вызовами придется столкнутся нам всем в недалеком будущем. Амадей говорит, что мир с AI непредсказуем. Он сравнивает создание AI с выращиванием растения: мы создаем условия для роста, обеспечиваем почву, полив, свет и защиту от вредителей, но то, что в итоге вырастает, не можем предсказать с точностью. Прежние технологические революции отличались «понятностью» (ясно, как устроен паровой двигатель и что от него ждать, ясно, как написана программа и что мы получим на выходе и т.п.). А для объяснения работы AI Амадей цитирует своего коллегу Олссона — «мы выращиваем больше, чем закладываем». Самим ученым не очевидно, как AI решает когнитивные задачи и на что он способен. Непрозрачность «поведения» AI, по Амадею, означает, что его невозможно использовать в критически значимых системах, вроде финансовых операций или всем, что связано с безопасностью (вроде управления транспортом и т.п.). Но отказ от такого использования не означает, что этим не воспользуются злоумышленники или просто ориентированные на достижение коммерческого успеха люди (имена Альтмана и Маска не произносятся, но понятно, кто имеется ввиду). Амадей рассказывает, как, с учетом этих рисков, строит свою работу Anthropic, описывая её как медицинскую процедуру: первичное МРТ, диагностика, лечение, снова МРТ и так далее. Это он называет политикой ответственного масштабирования. Амадей четче и резче, чем политики, выводит важное: AI идеален для авторитарных режимов. Он способен радикально усилить репрессии, выведя их на недоступный ранее уровень. Использование современных технологий меняет жизнь внутри диктаторских режимов уже сейчас, но AI выведет тотальную слежку на новый уровень, вдолбит каждому пропаганду на основе индивидуального меню, взламывая все пароли, физически преследуя любого инакомыслящего, полностью, на 100%, лишая любого его личного пространства - «это действительно страшно и это мы должны остановить». Амадей предлагает радикально запретить передачу автократиям чипов от Nvidia - такие чипы, по его мнению, просто не должны попадать в Китай, это всё равно что передать атомное оружие Северной Корее. Проблемы будущего видятся Амадею и в том, как AI сможет повлиять на экономику. Касаясь темы безработицы, он рассматривает он её так: внедрение AI приведет к невиданному экономическому росту, но если раньше экономический подъем означал повышенную занятость населения, то теперь, впервые в истории, он будет означать рост безработицы, причем, чем выше будет экономическое ускорение, тем ниже будет занятость. По словам Амадея, в нашем восьмимиллардном мире сегодня существуют примерно 10 млн человек, 0,125% населения (из которых 7 млн живут в Калифорнии и 3 млн рассеяны в других частях планеты), которых он называет «нулевым миром», опережающим то, что ранее называли «первым миром» — миром развитых стран. Именно нулевой мир получит максимальную выгоду от внедрения AI (по Амадею, рост мировой экономики на 10% означает, что для нулевого мира выгода составит не меньше 50%) и попытается построить «новый мировой порядок». Впрочем, мир не склонен думать о будущем всерьез, и обсуждает опубликованный Anthropic свод правил для своего AI, Claude, который сами разработчики назвали «Конституцией». Она стала скорее пищей для стёба, чем для размышлений. Правда, в современном мире с его кризисом доверия в самом деле начнёшь ожидать соблюдения правил и расставления приоритетов скорее от машин, чем от людей, по-прежнему не оправдывающих ожиданий друг друга. #техноистории от Саши Иванова