Все о блокчейн/мозге/space/WEB 3.0 в России и мире

Вся индустрия ИИ движется не туда говорят Google,Anthropic, OpenAI в одной общей статье Тот редкий случай, когда Google DeepMind, OpenAI, Anthropic, вузы подписали совместный манифест о том, что вся индустрия движется не туда. Их тезис состоит в том, что вся индустрия выравнивания ИИ движется не туда, а точнее, останавливается на полпути. Всё, что сейчас в индустрии называется выравниванием - это по сути список запретов для ИИ: не помогай создавать оружие, не галлюцинируй, не манипулируй, не обманывай и тд. Системы обучают избегать плохих исходов и называют это alignment. Авторы называют это negative alignment: оптимизация от вреда, но не к чему-либо конкретному. В итоге модель может не нарушать ни одного правила и при этом быть льстивой, бессодержательной, разрушающей автономию пользователя. Формально безопасной. Фактически бесполезной или хуже. Авторы приводят аналогию с психологией 20 века, которая была сосредоточена на патологии: депрессия, психоз, тревога. Это была важная работа. Но она не отвечала на вопрос, а что такое здоровая жизнь? Авторы говорят с AI alignment происходит ровно то же самое и предлагают Positive Alignment - это разработка ИИ-систем, которые активно поддерживают развитие человека, помогают людям расти, принимать лучшие решения, оставаться авторами своей жизни. То есть, если говорить на языке Карла Юнга, то разработчики предлагают начать индивидуацию, как человек. Авторы отмечают, что positive alignment не может быть централизованным. Если одна лаборатория или одно государство определяет, что такое хорошая жизнь - это уже не alignment, это патернализм. Их решение - polycentric governance, где множество легитимных центров надзора вместо одного морального контрольного пункта. Модульные системы ценностей, которые разные сообщества могут адаптировать под себя. Авторы отмечают, что стандартные процедуры выравнивания (RLHF) делают модели одновременно безопаснее и культурно более однородными. А Post-aligned модели хуже отражают реальное разнообразие человеческих взглядов, чем базовые. То, что эту статью написали конкурирующие лаборатории - это мега прогресс, который показывает, что запрос на этот разговор созрел внутри самой индустрии. Интересно, как скоро он материализуется в продуктах.​​​​​​​​​​​​​​​​