На страхах вокруг AI строится отдельный рынок стартапов CB Insights собрал компании, которые пытаются решить неприятные сценарии развития AI: когда агент отказывается останавливаться, обманывает тесты, неожиданно осваивает новые способности или учится манипулировать людьми. Одни стартапы ищут и изолируют опасных агентов, другие тестируют модели в реалистичных условиях и пытаются поймать их на обходе проверок. Отдельное направление — интерпретация моделей: понять, почему AI принял решение и не пытается ли он скрыть свои реальные намерения. На этом уже формируется полноценный рынок AI safety — от мониторинга и red teaming до страхования ответственности за ущерб от AI.