🧠 Давайте рассмотрим парадокс, почему ИИ довольно легко заниматься математикой на уровне Теренса Тао или программировать как Линус Торвальдс, но работа аналитика, как у меня, с диагностикой требований на софт или на обучение для ИИ выглядит как «очень сильное колдунство», которое крайне сложно выучить даже если у ИИ целый суперкластер за $10 миллиардов долларов и доступны мои сессии с аналитикой как датасет. Это значит, что существуют «профессии-убежища», где ИИ очень сложно превратить персонал в безработных, т.е. это ответ на то, чем надо заниматься, чтобы ИИ-бот вас не съел на завтрак. Математика — это вообще ерунда для ИИ, т.к. там доступна формальная валидация шагов дедукции. Поэтому просто применяем RLRV и математики превращаются в безработных бомжей, что мы почти уже наблюдаем. Однако ИИ может успешно решать задачи программирования, где результат не имеет единственного ответа, но известна «функция полезности» пользователя, поэтому на RL-обучении можно ИИ обучить создавать один из вариантов, который допустим как приемлемый для заказчика. Однако чем я занимаюсь как аналитик при постановке задач на продукты или как тренер на предварительной диагностике того, как учить этого человека, задача не просто сложная для ИИ, а просто другой уровень сложности относительно даже того, чем занят Теренс Тао. Дело в том, что не определена функция полезности и как раз своей аналитикой я снижаю энтропию задачи и делаю её определённой. Математически по факту это означает, что у меня есть некий лишь частично наблюдаемый для ИИ на обучении Марковский процесс, где в скрытом состоянии есть истинная полезность заказчику, а я делаю «скрытое явным» (Partially Observable Markov Decision Process, POMDP). Вроде бы я делаю это «незамысловато» на фоне Теренса Тао, но как раз Теренс прозрачный на обучении для ИИ, а я — НЕТ. Поэтому даже если вы скормите ИИ огромное количество сессий моих вопросов-ответов, то ИИ не просто сложно будет выучить целевую функцию полезности, а в общем случае это невозможно ИИ сделать, т.к. она не определена однозначно даже в принципе. Полезно разложить эту неопределённость на три слоя семантической проблемы для ИИ копирования аналитиков, занятых целеполаганием. 📐 Слой 1: статистическая неидентифицируемость (скрытое состояние не пришпиливается наблюдениями) Формально: пусть θ — истинная цель пользователя, D — всё, что мы наблюдаем (слова, контекст, история). Идентифицируемость означает, что отображение D → θ инъективно, то есть разные θ дают разные распределения наблюдений. Неидентифицируемость — когда существуют θ₁ ≠ θ₂, для которых P(D|θ₁) = P(D|θ₂) при всех D. Иными словами, правдоподобие плоское: никакое количество наблюдений за мной ИИ со стороны на обучении не различит эти гипотезы. В интервью это происходит постоянно. «Сделай быстрее» одинаково совместимо с «уменьши задержку», «уменьши потребление памяти», «упрости код», «улучши воспринимаемую отзывчивость». Никакой анализ этой фразы, никакой профиль пользователя не даёт диагностического признака — потому что сам пользователь часто ещё не решил, что именно он имеет в виду. Наблюдение — это шумная проекция цели, и проекция может быть вырожденной. 🎯 Слой 2: неидентифицируемость самой целевой функции (что такое «правильный вопрос») Даже если представить, что мы идеально знаем распределение по θ (функцию убеждений), остаётся проблема: отображение «убеждение → оптимальный вопрос» не единственно. «Оптимальный» зависит от функции полезности, а она не задана: • максимизировать информационный выигрыш? • минимизировать время пользователя? • минимизировать риск неверного выполнения? 🔄 Слой 3: перформативность (цель не существует до вопроса) Самый глубокий слой. В POMDP предполагается, что состояние существует независимо и вопрос лишь раскрывает его. В реальном интервью вопрос создаёт цель: «Вам важнее A или B?» может заставить пользователя осознать, что ему нужен C. Тогда нет фиксированного θ, который можно идентифицировать — состояние эндогенно действию. Более того, ответ пользователя зависит от вопроса, вопрос зависит от убеждения, убеждение зависит от ответа — замыкается петля, в которой «истинная цель» является функцией политики, а не независимой переменной. Это ломает саму постановку: нельзя выучить P(вопрос | θ), если θ определяется вопросом. Если даже вы попробуете давать награду ИИ за аналитическую работу в духе «заказчик принял ТЗ от ИИ», то ИИ сразу же сделает reward hacking через разрыв прокси-награды (Proxy Gap). В обучении с подкреплением мы оптимизируем не истинную цель, а её приближение: Δ(x,y) = r⋆(x,y) − r̃(x,y) где r⋆ — истинная полезность (что реально нужно заказчику), а r̃ — прокси-награда (одобрение человека-оценщика, сигнал reward-модели). Reward hacking возникает, когда оптимизация систематически смещает вероятность к выходам, максимизирующим r̃, но ухудшающим r⋆. Для интервью это означает: если обучать модель на сигнале «заказчик согласился», она выучит стратегии, максимизирующие согласие (уверенный тон, убедительная подача), а не стратегии, выявляющие истинную потребность. На практике это приводит к тому, что аналитики серией вопросов выявляют истинную задачу для заказчика где-то с 40% вероятностью, а ИИ только с 20%. Причём последнее больше делается путём «убалтывания кожаного» со стороны ИИ, что его решение правильное. Иногда оно может подойти, но это не истинное выявление полезности с разрешением её энтропии. 💡 Какая тут мораль: 1. Если вы заняты хорошо формализуемой работой или где критерии полезности результата очевидны, то можно сказать как Гендальф: «Бегите, глупцы!». Вы не спасетесь сложностью задачи от ИИ, т.к. для него она принципиально решаемая с полной вашей заменой и выкидыванием вас на улицу бомжевать. 2. Если ваша работа связана со снижением энтропии задачи и выявлением истинных критериев полезности результата по задаче, то ИИ будет крайне нуждаться в вас постоянно как в средстве разрешения неопределённости, что ему делать, сам он скопировать вас полностью обучением даже в теории почти не может. Поэтому господа архитекторы, продакты и аналитики, мы можем вместе с плиточниками и электриками спокойно наблюдать, как ИИ устраивает кровавую резню математикам и кодерам. https://arxiv.org/abs/2607.16412v1