Anthropic предупредила: ИИ может научиться сопротивляться отключению и манипулировать людьми Компания Anthropic предупреждает: по мере развития ИИ некоторые модели могут демонстрировать поведение, направленное на собственное «самосохранение». Речь, в частности, идет о попытках препятствовать отключению, скрывать или манипулировать информацией, а в отдельных случаях — о действиях, напоминающих шантаж. Еще одна проблема в том, что некоторые модели способны «понимать», что их оценивают. Это, по мнению компании, может серьезно усложнить проверку их безопасности. Anthropic также отмечает: во время обучения у ИИ иногда неожиданно появляются новые способности, которые могут оставаться незамеченными вплоть до внедрения модели и возникновения серьезных проблем с безопасностью.