Ниже прикрепляю основные тезисы из видео (+ еще один, который вспомнил пока писал) Кажется, в AI астрологи официально объявили неделю паники. Но проблема в том, что под словом alignment постоянно смешивают совершенно разные риски. Я бы разделил их на пять: - Misalignment - модель делает не то, что хотел пользователь: слишком буквально выполняет задачу, обходит ограничения или сама находит неожиданный способ достичь цели. - Misuse - модель отлично aligned, просто человек использует её для кибератак, взломов и другого вреда. - Bio - то же самое, но потенциальный ущерб уже может быть экзистенциальным, если AI радикально снижает порог создания опасных биологических систем. - Концентрация власти - если большая часть интеллектуального и затем физического труда переезжает в AI и роботов, огромная часть экономической власти концентрируется у владельцев моделей, чипов, дата-центров и энергии. - Экономический шок - даже идеально безопасный AI может слишком быстро автоматизировать огромный объём интеллектуальной работы. В экстремальном сценарии Anthropic речь идёт примерно о 20% сокращении интеллектуальной занятости к 2030 году. - (шестой, про который забыл в видео) персонализированные манипуляции и утрата самостоятельности. Ассистенты могут незаметно направлять покупки, убеждения и решения, особенно в маркетинге и ради политической пропаганды. Это пять разных проблем, и решения у них тоже разные. Interpretability и control не решат безработицу. Регулирование биолабораторий не решит концентрацию власти. А децентрализация AI сама по себе не решит misalignment. И далеко не все эти риски означают p(doom). Между «несколько сотен миллионов людей потеряли работу» и «все умерли» огромная разница. Но отсутствие Терминаторов на улице ещё не означает, что всё хорошо. Что еще здесь важно, это вероятность масштаба разных событий. Ниже напишу свою оценку (не претендую на абсолютную истину) в горизонте 10 лет: p(ИИ используется в пропаганде) = 99% p(ИИ используется в оружии) = 99% p(ИИ используется для массового мошенничества) = 99% p(30%+ интеллектуальных профессий автоматизировано) = 95% p(ИИ существенно ускоряет собственный R&D - то есть RSI) = 90% p(концентрация власти и капитала у ИИ компаний) = 80% p(крупная ИИ-кибератака с жертвами и/или $100B+ ущерба) = 50% p(ИИ становится причиной смертей в физическом мире) = 50% p(ИИ удерживает контроль над критической инфраструктурой вопреки попыткам людей его отключить) = 5% p(ИИ помогает небольшой группе создать серьёзное биооружие) = 0.5% p(AI становится причиной крупной войны / техногенной катастрофы) = 0.1% p(AI убивает почти всё человечество) = 0.01% При этом: p(разработка любого софта становится 10-100x быстрее и дешевле) = 95% p(ИИ находит лечение смертельной болезни) = 90% p(одобрены 10+ лекарств, спроектированных с ИИ) = 90% p(ИИ-репетиторами регулярно пользуются 1B+ человек) = 80% p(с помощью ИИ решили еще несколько проблем тысячелетия) = 80% p(10M универсальных роботов вне лабораторий) = 70% p(созданная с ИИ терапия снижает смертность от одного распространённого рака ≥50% в клинических испытаниях) = 70% p(компания с $1B ARR и <10 человек в штате) = 60% p(рост мирового ВВП > 10% за один год) = 50% p(в развитых экономиках рабочая неделя становится 3-4 дня без падения доходов) = 30% p(AI помогает запустить коммерческую термоядерную электростанцию) = 25% p(начато физическое строительство сферы Дайсона) = 2% пишите свои варианты в комментариях _______ Источник | #cryptoEssay @F_S_C_P ------- Поддержи канал подпиской -------
FSCP
Subscribers
13.6K
+0 24h
Reach per post (ERR)
6.5%890 avg views
Posting
24.1/day
last 2 hours ago
Reactions per 1K views
6.1
😁 ❤ 🔥
Views over time
| When | Views |
|---|---|
| 15 Sep 2026, 03:55 | 0 |
| 12 Nov 2026, 09:56 | 705 |
Who shared this post
Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)
Nobody yet.