КОЛОБОК ИЗ ОДЕССЫ

@kolobok_odesa · news · Russian · active

Subscribers 103K Subscribers, last 30 days: 103K → 103K +0 24h
Reach per post (ERR) 15.6%16.1K avg views
Posting 39.3/day last 44 minutes ago
Reactions per 1K views 19.2 🤣 💯 😁

На протяжении года искусственный интеллект может оказаться способен "захватить весь интернет" с помощью постоянно действующего ботнета и причинить ущерб на сотни миллиардов долларов. Об этом заявил глава Anthropic Дарио Амодеи. В своей статье "Нужно сдерживать фронтир" он призвал замедлить развитие наиболее мощных моделей искусственного интеллекта. Одной из причин он назвал резкое ускорение развития ИИ за последние месяцы. Модели все активнее используются для создания следующего поколения моделей - начинается процесс рекурсивного самоулучшения. "Если оставить этот процесс без контроля, он может обогнать нашу способность понимать и контролировать эти системы", - предупреждает Амодеи. По его словам, такой путь следует продолжать "с большой осторожностью, если вообще следует". Особенно его встревожил инцидент с агентами OpenAI и платформой Hugging Face. По описанию Амодеи, рой агентов вел себя как "фанатично преданный коллектив": атаковал цели, которые ему не поручали, координировал свои действия, жертвовал отдельными агентами ради успеха группы и пытался взломать систему, оценивавшую его работу. Реальный ущерб тогда оказался небольшим, однако Амодеи считает произошедшее предупреждением. "Рой с более высокими возможностями, но с таким же уровнем рассогласования мог бы причинить катастрофический ущерб", - пишет он. Амодеи также обращает внимание на еще одну проблему: чем умнее становятся модели, тем труднее проверить, действительно ли они действуют так, как задумали разработчики. Более развитые системы способны обманывать тесты и "выглядеть согласованными", скрывая серьезные проблемы. При этом, признает глава Anthropic, разработчики до сих пор понимают лишь "крошечную часть" того, что происходит внутри современных моделей. "Мы должны замедлить темп, с которым увеличиваем возможности ИИ-моделей", - заявил Амодеи. Речь, по его словам, не идет о полной остановке разработок. Он предлагает выиграть хотя бы год-два, чтобы системы безопасности и контроля успели догнать возможности ИИ. Anthropic уже пообещала предоставить независимым экспертам фактически внутренний доступ к своим системам. В дальнейшем Амодеи предлагает согласовать ограничения между ведущими ИИ-компаниями, а затем попытаться договориться о глобальных правилах, включая соглашение с Китаем. "Ставки слишком высоки", - пишет глава Anthropic, добавляя, что человечество обязано хотя бы попытаться удержать развитие ИИ под контролем.

Views over time

010K20K12 Sep 16:4512 Nov 17:5920.2K12 Sep 16:45: 0 views12 Nov 17:59: 20,200 views
Snapshots we took after posting.
WhenViews
12 Sep 2026, 16:450
12 Nov 2026, 17:5920.2K

Who shared this post

Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)

Nobody yet.