Сиолошная

Мы считаем, что мир уснул за рулем. Люди произносят слова «ИИ кардинально изменит мир», не задумываясь конкретно и всерьез о последствиях появления ИИ сверхчеловеческого уровня. Прочитал основной сценарий Plan A в 2040 и немного полистал дополнительные материалы (все их охватить нереально, объем больше основной работы, с гораздо более глубокой аналитикой). Если делать краткий пересказ, то: 1. Авторы не отходят от темпов развития AI до 2030-го, к которым они пришли в начале 2026 (чуть медленнее оригинального AI-2027). AI 2040 в названии не означает, что предсказание авторов по достижению человечеством суперинтеллекта по умолчанию сводится к 2040-му году. Считаю это важным пояснить, потому что уже увидел кучу дураков, считающих, что развитие AI снова замедляется и предсказания смещаются. 2. Авторы признают, что составить конкретный сценарий очень сложно из-за сотен сложнопрогнозируемых событий и реакций на эти события, но это не делает сам прогноз бесполезным. К любому 100-страничному сценарию можно придраться на 8-й странице и сказать, что ты оцениваешь вероятность исхода по другому, и это может быть даже валидно. «Мы считаем, что дискуссия улучшилась бы, если бы больше предложений по политике в области ИИ подвергались сценарному анализу. Поэтому мы начинаем со своего собственного подхода, хотя это и может вызвать критику». 3. Кроме того каждый хочет сказать, что его любимое предложение по политике и управлению будет иметь хорошие последствия, а политика его соперников — ужасные. Однако анализ конкретных сценариев развития событий может выявить неприятные моменты — поэтому сценариев избегают и предметно о вещах не говорят. 4. Основные участники сценария — США и Китай, другие мало на что влияют и почти не участвуют. С точки зрения наблюдаемой сейчас картины развития технологий это выглядит логично, хоть и, могу предположить, обидно (мне - нет). В 2029-м году (или более конкретно, после того как будут почти полностью автоматизированны AI-исследования) они приходят к соглашению об остановке любой тренировки моделей и введению контролирующих мер: полный аудит датацентров друг друга, отслеживание каждого выпущенного чипа (благо мест производства раз два и обчелся — меньше, чем лабораторий по обогащению урана или шахт). 5. Достижение договорённостей с Китаем это первая большая идея сценария. Вторая — обеспечений абсолютной прозрачности исследовательского процесса во всех лабораториях. Кластера для обучения будут в закрытом контуре, всё что попадает в них (код, команды для запуска) и выходит с них (логи итд) будет мониториться автоматически + открыто доступно. Единственное, что не будет публиковаться — веса моделей, и поскольку все чипы под контролем, а их подавляющее большинство всё равно находится в подконтрольных датацентрах, то не стоит бояться, что где-то кто-то (условно террористы) сможет обучить что-то серьезное. 6. Поскольку теперь все секреты моделей открыты, то у компаний теперь меньше фокуса на самих исследованиях (ведь конкуренты моментально скопируют), и больше — на продуктивизации и диффузии в общество. Общий темп развития намеренно замедляется через разные механизмы (в том числе контроль ресурсов на обучение). 7. Чтобы обеспечить крепкость сделки, предлагается строить датацентры в удобным для атаки соперником местах. Китай будет строить в Канаде, США — в Монголии. Если вдруг она из стран решит выйти из сделки и запустит свою программу — оппонент может или захватить все их ресурсы, или просто уничтожить (скорее второе). С точки зрения замедления развития AI это хорошо — в худшем случае мы потеряем все чипы и откатимся на десять лет в развитии.