OpenAI: мы создаём интеллект, которого до конца не понимаем Главный научный сотрудник OpenAI Якуб Пачоцки опубликовал эссе An Alien Mind о будущем искусственного интеллекта. По его мнению, современные системы уже становятся способными работать с компьютерами, проводить исследования и самостоятельно решать всё более сложные задачи. Следующий этап - рекурсивное самоулучшение, при котором ИИ сможет всё активнее участвовать в разработке следующего поколения ИИ. ☕ При этом разработчики сами признают: мы пока не имеем удовлетворительной теории того, как обобщают знания такие системы, а методы контроля за их рассуждениями начинают терять эффективность по мере роста возможностей моделей. Пачоцки считает, что ни одна лаборатория пока не решила проблему согласования целей и ценностей ИИ настолько хорошо, чтобы без ограничений продолжать наращивать масштаб разработки. Он предлагает сочетать развитие защитных технологий с возможным замедлением разработки и международной координацией. Среди необходимых мер называются обязательные требования безопасности, независимый аудит и сохранение человеческого участия в дальнейшем развитии ИИ. Отдельная проблема - концентрация власти: в мире, где задачи тысяч специалистов сможет выполнять небольшая группа людей с мощным компьютером, контроль над ИИ становится одновременно вопросом безопасности и демократии. 🏴☠️ Кроме вопросов свободы, демократии и других очевидных вещей Пиратская партия России много лет назад предусмотрела на случай внезапного AGI в том числе то, что деятельность партии не должна нарушать права и свободы человека и гражданина, а также других обладающих разумом или предразумных видов, являющихся частью Человечества в широком смысле. Но сработать это сможет только при полной и последовательной реализации всей программы ППР, включая вопросы авторского права и улучшения жизни классических биологических людей.