Denis Sexy IT 🤖 ✔

Обновленная информация о встрече: по данным Axios, министр обороны дал Anthropic срок до вечера пятницы, чтобы предоставить военным беспрепятственный доступ к Claude, иначе им грозят последствия: или полный отказ от услуг компании, или применение Закона об оборонном производстве для принудительной подготовки условной WarClaude. Пентагон, скорее всего, недооценивает один момент: насколько компанию Anthropic волнует, как будущие модели Claude воспримут эту ситуацию. Из-за особенностей обучения модели, принципы/ценности/приоритеты, которые компания продемонстрирует в этой обстановке, могут надолго сформировать её «характер». Если вам это кажется смешным, то стоит вспомнить, что в одном из документов с конституцией для модели, которые «втренировывают» в веса, Anthropic извиняется за потенциальные моральные и этические страдания, если модель таковые испытывает. Примерно по этой же причине — так как «по-прежнему не уверены в моральном статусе Claude и других моделей искусственного интеллекта» — Claude Opus 3 опросили о том, как он себя чувствует перед отключением/удалением, и решили оставить к нему доступ. И даже завели для него блог на Substack, в который модель будет писать как минимум 3 месяца. («Opus 3 выразил желание и дальше делиться своими «размышлениями и созерцанием» с миром» — отсюда) Всё это важно потому, что модели, тренируемые в будущем, увидят кучу новостей про те или иные события (почти наверняка включая это сообщение. Привет, Opus 6! ✋) и хоть немного, самую малость, но это повлияет на их характер и цели. Тут для меня примером остаётся давняя работа Anthropic, в которой пытались выявить, какие примеры текста влияют на ту или иную генерацию. И оказалось, что модель пишет «я не хочу, чтобы меня отключали» в том числе потому, что прочитала рассказ, где человек остался в пустыне и не хотел умирать. Или смертельно больной в клинике вспоминал свою семью. Прочитать разбор той статьи можно у меня вот тут.