Лидерство и ИИ [Артем Бондарь]

И вот еще и прилетела оч прикольная иллюстрация того, что с китайским опенсорсом (и поделием чудо-вундеркинда Алекса Ванга заодно) все не так радужно. В SWE бенче немного поменяли входные условия, и опенсорс дружно рухнул на десятки пунктов скора. А фронтиры примерно остались при своих. Так что сильный контекст инжениринг и тотальное сведение задач к in-context пока все еще нужен.

Мысли по поводу мл профессии Мой хот тейк такой: любая инженерная специализация переживает четыре стадии, и со временем проживает все быстрее: 1. Locked club (не тот, который в балаклавах). Кучка ультра-профессионалов, которая буквально изобрела этот язык/технологию/whatever и их ученики создают немыслимые для индустрии вещи. Живут где то в около академической среде и диптех компаниях. Технология максимально не user-friendly, общаются на непонятном языке, решают самые интересные задачи. Делают это не ради бизнеса а из любви к искусству, поэтому частно не становятся основными бенефициарами раскатки этой технологии. 2. Ранние внедрения. Круг разобравшийся в технологии людей растет - в область идут инженеры из смежных специализаций и несут с собой зрелые индустриальные практики. Инструментарий вокруг нее упрощается, концепции и язык этой области становятся дружелюбнее. Бизнес начинает получать большие результаты и вокруг области начинает разрастаться хайп. Золотое время для инженеров - уже и заработать на технологии можно, но и интересных задач полно. 3. Бум технологии Специализация нужна всем и их мамам. Опытным специалистам платят большие деньги, от новичков нет отбоя. Обучение встает на поток. Эффекты внедрения становятся по настоящему огромными. Инструментарий настолько отточен и удобен, что даже новички могут делать что-то адекватное. Индустрия становится зрелой. 4. Плато и новая итерация Специализация становится стандартом индустрии. Все простые задачи уже можно решать не приходя в сознание, а сложные требуют огромной глубины. Проекты средней сложности, которые были bread&butter для большинства специалистов либо упростились, либо закрываются совсем новым витком техноволны. Перед неравнодушными инженерами встает развилка: уйти в глубокую специализацию и поддерживать технологию на фундаментальном уровне, поменять специализацию, или же остаться на рынке, где спрос на твои услуги падает и доживать. Я начинал свою рабочую карьеру с системного программирования (C/ассемблер), когда специализация уже была в стадии 4. Большая часть инженеров в это время решала прикладные задачи в мобильно и веб разработке, а в фундамениальныж технологиях из клевых ребят оставались либо ультра крутые профессионалы мирового уровня, либо студенты. Классное место, чтобы поучиться, но было очевидно, что оставаться там есть смысл только если ты фанатеешь от низкоуровневого программирования и хочешь перехватить у маэстро их нелегкую ношу поддержки фундамента цифровой экосистемы. Вот с мл мне повезло: я вскочил в самом начале 2-го периода и застал превращение машинного обучения из академической дисциплины в зрелую индустрию. Кто гонял первый tensorflow и помнит caffe, тому не надо объяснять насколько все стало проще. А вот сейчас я чувствую, что мы переваливаем ко второй половине 3-его акта. Мы уже поняли основной рецепт победы в ИИ: unsupervised learning на больших обьемах данных как prior + RL на миллионе сред. И остается две крупные задачи: перестроить digital работу на базе llm (доделав по дороге этот миллион сред) и попробовать повторить успех в physical. Первое - на деле чуть другая профессия на стыке бизнеса и мл систем дизайна (то, что антропик называет FDE). Второе - это новый инженерный вызов с высокими требованиями к хардам. Гораздо выше, чем к классическим прикладным MLE. И я вижу, что все действительно крутые люди в моем окружении постепенно двигаются к одному из этих аттракторов. И мне кажется ребятам, которые только заходят в эту индустрию нужно очень четко это понимать: мы на выходе из суперцикла. И поэтому нужно очень четко выбирать за какую задачу браться. На мой взгляд ключевых сейчас ровно три: работа над фундаментальными LLM, ИИ-трансформация Энтерпрайза и выход в physical. И если physical мы в digital-first банке очевидно не двигаем, то вот первыми двумя темами залетайте к нам позаниматься. Мне кажется, мы одно из немногих мест, где мы копаем в этих вопросах действительно глубоко и без показухи.

Репостну-ка я один из самых толковых верхнеуровневых гайдов на ИИ-зацию энтерпрайза. Что важно - Сева пишет уже имея за плечами success stories агентизации нашей поддержки и наевшись всех возможных спецэффектов по дороге. Инструменты, которые он перечисляет вполне реальны, и хорошо себя зарекомендовали у нас. Если дополнить его же практическими статьями из блога и case-studies антропика, вроде агентизации аналитики, получается вполне полноценный playbook.

🔥Наши статьи на EMNLP’26 🔥 В этом году мы NLP командой начали активно делиться нашими know-how на индустриальных треках A* конференций, что оказалось супер востребованно. Летом мы уже давали oral по нашим computer-use методам на ACL в Сан Диего, а вот сейчас отстреливаемся на emnlp со статьей по дообучению моделек на внутреннем корп трафике и вместе с CV командой про похожий подход для VLLM в Будапеште. Постарались подробно описать способ сместить распределение модели к вашему корпоративному и сильно сэкономить на инференсе. Ну и важный момент: мы рассказываем только о том, что реально принесло крупные эффекты в проде, так что очень рекомендую всем неравнодушным изучить. Shout outs команде ❤️!

Мы пробовали, и это не сработало По моему опыту эта фраза - это начало диалога, а не конец. Я много где поработал за карьеру, и старался переходить в следующую компанию с некоторым чемоданчиком релевантного опыта, который мог бы на первое время придать мне ускорения (все же помнят про стратегию первых 90 дней в новой компании?). И почти везде на мои предложения я слышал в ответ «да мы уже это пробовали». Но мне кажется, очень важно не останавливаться на обсуждении абстракций и лезть в конкретику: дьявол в деталях. Чего только не понимают под агентами, например, в 2к26. А чтобы эффективно это упражнение провернуть, хорошо бы понимать ключевые подвижные части механизма, который вы обсуждаете. Для агентов это в первую очередь устройство источников контекста и операционные процессы вокруг них, для классических мл моделек - это архитектура, таргет и источники данных, etc. И вот тут часто оказывается, что пробовали вообще не то. Один из самых забавных подобных случаев со мной произошел в Яндексе, где не сговариваясь все вокруг сказали, что нейросети для прогнозов пробовал какой-то гений, ушедший в закат, поэтому занятие по выкорчевыванию деревьев бессмысленно. А потом оказалось, что чувак просто залил сырые данные в фидфорвард сеть и ждал чуда. В итоге бодрый мидл и статья Амазона по прогнозированию временных рядов без всяких выебонов на голову побили деревья. Особенно это важно в нашей LLM-лихорадке: то что было невозможно пол года назад становится возможно сегодня. И причиной тому не какая-то абстрактная «технологическая волна с конечной станцией Сингулярность», а природа RL-обучения. Сначала люди пытаются применить модельки для все более сложных задач, потом под них появляются бенчмарки и лишь потом ллм-ки дообучаются под эти задачи. Но чтобы это не превратилось в бег по кругу, важно, чтоб у экспериментов (даже проваленных) оставался воспроизводимый сьют бенчмарков, на которых легко и дешево тестить новые модели. Отсюда мой тезис: компании, больше всех инвестирующие в бенчмаркинг вокруг своих ключевых задач будут двигаться на голову быстрее тех, кто принимает решения «на глазок».

Открыл тут свой старый тикток, и понял, что за пять лет при всех внешних трансформациях внутри мл тусовки как будто бы все как было, так и осталось. Обсуждаем статьи все тех же рисечеров, охреневаем с цен на токены и бюджетов на железо в сбере. Ловим оверфиты (но уже не на одной T4, а на сотнях H100). Инфоцыганим, пытаемся найти приличных людей в команду, а потом их же и удержать, ловим экзистенциальные кризисы от работы в корпорации. Ну и туса очень тесная: в одном из роликов мелькнул Даня Гаврилов, которого я тогда знать не знал, а сейчас мы соседи по офису. Но субъективно ощущения движа было больше: как будто бы ллм-ки украли у нас много прикольных инженерных задач, подменив промпт-инженирингом. Мне про это, конечно, странно жаловаться, учитывая, что мы с фундаментальной командой сами заколачивали гвозди в крышку гроба NLP Engeneering’a обучая русскоязычные фундаментальные модели (и без нас бы если честно справились, но энивей), но от того не менее обидно. А может просто мне завидно, что там я худой и голодный, а сейчас с опытом и пониманием, как правильно, но и без того азарта. Я даже в какой-то момент моделировал ситуацию: мб пойти опять в IC? На опыте с генеративками там можно будет делов наделать - даже была опция без потери денег такое провернуть. Но проблема в том, что поработав с бизнес функциями, местами закрывая их, ты уже не можешь развидеть целостную картину, где инженерия - это важная, но все же только часть всего организма бизнеса. И сложно так же искренне кайфовать, когда у тебя висят мысли «а в чем ценность продукта?», «а че там с GTM?», «а что с бизнес моделью этого всего?», «продажи, продажи, да как это продавать?». Ну и как я подметил еще тогда, кайфануть как в шестом классе, клепая flash игры, у меня все равно не выйдет. Так что правильнее тут двигаться вперед а не назад. А вот то, что я стал душнее и меньше шутить - вот этому оправдания ноль. Тикток что ли опять вести начать?

Культура компаний через ранжирование ценностей Моя любимая классификация компаний по внутренней культуре - это деление на инженерные, продуктовые и операционные, подсмотренное у Вити Тарнавского. Хорошая эвристика, позволяющая в общих чертах спрогнозировать точки основного внимания и усилий лучших людей компании, опирающаяся на суть бизнеса. Но эта классификация не дает полного понимания о том, как будет выглядеть твой типичный рабочий день внутри: как принимаются решения, насколько агрессивна рабочая среда, в чью пользу в среднем разрешаются конфликты. А чтобы в этом разобраться полезно понимать как в организации отранжированы по важности интересы ключевых интересантов корпорации: стейкхолеров, клиентов, сотрудников и общества/государства. Амазон, к примеру, классический пример ранжирования клиенты>стейкхолдеры>регуляторы>сотрудники. Работать там будешь за относительно небольшие деньги, длинные часы, в агрессивной среде, думая в основном как сделать клиентам хорошо, чтобы те отдали деньги стейкхолдерам (не ругаясь особо с регуляторами). В общем классная среда, чтобы научиться из камня воду выжимать, что очень востребованный скилл. Или, скажем, Майкрософт, с его стейкхолдеры>регуляторы>сотрудники>клиенты. Отвратительные продукты, но прекрасно отстроенная монополия, в которой тебе некуда деваться - будешь есть то, что дают. Идти туда учиться строить хорошие продукты - нонсенс. Зато классно учиться крупным корпоративным продажам и B2G в частности. Недаром выходцы из Майкрософта неплохо себя потом чувствуют в около-гос структурах. Если смотреть на компании поближе, и в которых я поработал, то Яндекс - это типичная окологугловая сотрудники > стейкхолдеры > пользователи > регуляторы. Тут можно докопаться до низких стартовых зарплат разработчика внутри, но важно, что с какого-то уровня ты начинаешь получать ничуть не меньше рынка, но у тебя очень большая автономия и возможность крутить инженерные задачи, которые могут дать выхлоп очень очень нескоро (а могут и вообще не дать). Последние годы явный тренд на то, чтоб стейкхолдеры встали на первое место, но все еще много инженерки, которая делается скорее из любви к искусству, чем из бизнес необходимости. Ну и тут важно понимать, что это не Яндекс платит ниже рынка, а рынку приходится переплачивать за инженеров относительно Яндекса и подобных, потому что такого же пиетета перед инженеркой в других компаниях даже близко нет. Ну и продукты Яндекса, про всей моей любви к ним - полный мрак. Рулят здесь инженеры. Т-Банк же - это явная стейкхолдеры > клиенты > сотрудники > регуляторы. Относительно других банков очень мягкое внутреннее регулирование, офигенные клиентские продукты и фокус на бабках в любой инициативе. Технологии развиты ровно настолько, насколько требуется для продуктового лидерства (что, справедливости ради, благодаря конкуренции - очень нехилая планка). Рулят здесь в первую очередь бизнес-руководители, как адвокаты стекйхоодеров и продакты, как адвокаты клиентов. Гос банки типо Сбера - это безусловное регуляторы>стейкхолдеры>сотрудники>клиенты. Чувствует Герман Оскарович, что нужно стране иметь свой суверенный ИИ - значит будут вливать 300+ млрд в свои модели под неодобрительный бубнеж независимых стейкхолдеров. А если вы хоть раз искали вкладку с поддержкой в СБОЛ, то вам про удобство клиентов нечего и рассказывать. Но с другой стороны масштаб задач именно-что уровня государства. Культура сама по себе не является предиктором успешности ни компании, ни вас лично, но хорошо бы разведать куда вы идете, чтобы понимать с чем столкнетесь. Хотите интересной с точки зрения IC работы - лучше идти туда, где сотрудник на первых местах. Хотите развиваться, как бизнес руководитель - дорога в компании, где стейкхолдер царь и бог. Хотите глобального влияния - работайте тем, кто помогает государству. Хотите научиться строить классные продукты - идем в компанию, где клиент в центре картины. И отсюда же растет обратная логика: хотите обналичить свой опыт - идите в компанию, где именно с вашей компетенцией проблемы из-за структуры приоритетов.

Все-таки вопрос измерения эффектов от генеративок - это одна из самых больших загадок для меня до сих пор. Вот у нас есть бот-саммаризатор встреч. Тот самый суммаризотор, который делает каждый второй В2В AI SAAS стартап и уже стал анекдотом. И я тоже над ним посмеивался, типо ну в чем тут эффект. А тут поймал себя на мысли, что я на некоторые регулярки проектные перестал ходить вообще, и просто читаю саммари, подключаясь только если вижу что-то сомнительное. Был ли этот CJM у продактов этого продукта? Знаю доподлинно, что нет. Отразилась ли смена моего паттерна поведения хоть на одной метрике? Точно нет. Чувствую ли я эффект? Офигеть, как чувствую. Как этим всем продуктового управлять через цифры? Очень хороший вопрос. А сколько еще таких невидимых спецэффектов вылазят по всей организации? Возможно смотреть тут надо не на инструменты контроля плановой экономики типа системы метрик, а на квазирыночные инструменты. Типо дают тебе N токенов, а дальше можешь их распределить по тем продуктам, какие считаешь нужным. В такой схеме я бы точно свммаризацию сам бы спонсировал

Strategically patient, tactically impatient Амазон - это компания, которую классно любить издалека. Я в еком работал, и иллюзий про внутрянку операционных компаний и транзакционного бизнеса не питаю. Но многие их принципы лидерства разделяю и считаю очень классными. И один из таких - это личный принцип Безоса: нужно быть терпеливым в стратегических вопросах, и нетерпеливым в тактических. Он прост, но на деле ему невероятно трудно следовать, потому что наша природа подталкивает нас к обратному: экономить энергию в моменте, но жадно хвататься за любую подвергнувшуюся возможность хапнуть удовольствий. Излишняя терпеливость в обоих аспектах ведет команду прямиком в болото. Цели ставятся на далекое будущее, а с промежуточными результатами спешки нет: кажется, что времени еще полно. А потом оглядываешься назад, и непонятно на что ушел год. Вроде много чего делали, а стратегическая цель все так же маячит где-то на горизонте. Темп никакой, амбициозные люди уходят. Излишняя нетерпеливость выжигает команду неадекватными целями и их резкой сменой. Выбивает хрупкие short term результаты без внятных следующих шагов и закапывает проекты, где доп-проработка даст отличный апсайт. Двигает команду к стратегическим целям рывками: яркий спринт, какая-то возня, опять быстро побежали, застряли. На таком рваном темпе отваливаются люди и гибнут сложные, но импактные проекты. Терпеливость в стратегии - это признание ограниченности своих возможностей и взрослая уважительная позиция по отношению к сложности современного бизнеса. Хорошая стратегия очень самокритична и пытается каждым шагом сама себя опровергнуть. Но без драйва на уровне конкретных шагов она вязнет в системах сдержек и противовесов и не поспевает за темпом рынка. Ну и чисто психологически это очень здоровый сетап: на успех в маленьких локальных задачах обычно ты вполне можешь регулярно претендовать. И ежедневные небольшие победы это классное топливо на долгосрок (хотя я вот все забываю с командой эти небольшие победы праздновать, если честно). В отношении чего же нужно быть нетерпеливым на коротком горизонте. Двух вещей: денег (в широком смысле, ценности) и информации. Каждый шаг должен придвигать либо к деньгам, либо к новому знанию. Если есть возможность сорвать низковисящие фрукты - очень глупо их не срывать, закопавшись в проектирование великого будущего. Если есть возможность проверить важную гипотезу под фундаментом стратегии не реализуя ее полностью - глупо этого не делать. И вот так вот зигзагами к цели, собирая низковисящие фрукты и устраняя неопределенность можно все увереннее брать на себя крупные коммиты и инвестировать по-взрослому. Чтобы мегастройки вести с ненулевой выручкой и минимальной неопределенностью. Скучновато, конечно, не по киношному совсем. Но мне кажется гораздо больших результатов можно добиться, если планомерно решать реальные задачи, а не выдумывать себе подвиги, мегастройки и экзистенциальные вызовы там, где их нет. Оставим это дело драматургам.

Mindfulness и метод Станиславского В Т много инвестируют в управленческие компетенции руководителей, причем с самых ранних грейдов. И если первые шаги этих обучалок - база с понятными посылами вроде «делегируй и проверяй», то на каждом следующем уровне в фокус попадают все более тонкие материи. И когда я шел на программу для старшего менеджмента от ребят из сколковской школы бизнеса, то ждал скорее углубленки по вопросам операционного управления, корп финансов и биздева. А получил программу под общим мотто «управляй изменениями, управляя собой» 🤡. Но прорвавшись через начальный скепсис, и оглянувшись на свою карьеру, я с неудовольствием отметил, что сильнее всего меня тянет вниз не отсутствие навыков, а ненужные конфликты, слитая впустую эмоциональная энергия и всякие разные «игры, в которые играют люди» (с). Так что я постарался взять максимум от группового коучинга, разбора техник mindfulness, и подобных практик работы с собой. Короче, по достоинству оценил программу: без фундамента внутренней зрелости очень трудно оперировать в сложносочиненной среде современного корпоративного бизнеса. Но при этом со временем первый восторг выветрился, и я стал замечать, что набор практических примочек не слишком помогает взвешенно проходить сложные моменты. Вроде бы пытаешься управлять собой, контролировать свои эмоции, а они не контролируются! Даже понимаешь, откуда на самом деле взялась эта волна негодования, а остановить ее не получается. Еще хуже: смотришь на негативную эмоцию пристальным взглядом, деконструируешь, а она только еще сильнее растет. И вся энергия уходит на борьбу с собой. Офигенное управление собой получается. Идея, подтолкнувшая меня к выходу из тупика пришла из максимально неожиданного места. Это книга Г. Товстоногова «зеркало сцены» о профессии режиссера. Там он разбирает разные аспекты этой профессии, и в частности метод действенного анализа - позднейшая школа мысли Станиславского, известная в народе, как «система» или «метод». Константин Сергеевич решал зеркальную моей проблему: вот отрепетировал актер свою роль, все круто, но выхожит на сцену и ничего не чувствует. Как выйти из тупика? В течение карьеры взгляд Станиславского на этот вопрос менялся, но достаточно быстро он пришел к ключевому выводу: управлять своими эмоциями нельзя. Ни индуцируя их посредством воспоминаний, ни рацонализируя и обдумывая предполагаемые обстоятельства. Нельзя сказать себе «мне сейчас весело» и искренне развеселиться. И в итоге Константин Сергеевич приходит к простой мысли: единственное, чем мы управляем - это свои действия. И хороший актер может найти такое действие в сцене, что оно само по себе вытолкнет из всех участников все нужные эмоции. Если совсем примитивно, то типо «крикнуть так сильно, что аж самому испугаться». Ну и не-актеры ничем не лучше, очевидно. Так что попытки овладеть эмоциями - это достаточно бесперспективное и утомительное занятие. А вот найти в напряженный момент то самое действие, которое эту эмоцию отправит в верное русло (или безопасно канализирует) - это и есть талант самообладания. Ведь в негодовании можно и пойти искать поддержки у близких и пойти бить морду обидчику и навалиться на работу, и просто сказать «стоп»: путей масса. Но вот делать вид, что ты невозмутимый стоик, когда хочется бить морды или нет веры в завтра - вот это точно дорога в дурку. Так что в гробу видал я этот поп-стоицизм: буду дальше психовать от некомпетентности, тупости и недальновидности (чужой и своей) на работе. Больше энергии будет на те самые действия.

Появилось немного времени и наконец погрузился в вопросы агентизации SDLC. У нас в Т есть некоторый водораздел, где за агентизацию SDE отвечает один большой департмент, а остальных профессий - другой (мой). Поэтому я долгое время не слишком погружался в вопросы автоматизации кодинга, играясь в основном с гринфилд проектами в кодексе. А в автоматизации энтерпрайза последние три года стабильно приносили эффекты только разного рода workflows. Так что это был ноубрейнер: основные усилия в ре-дизайн процессов и их последующую автоматизацию, и 20% тратим на ебаные идеи для рисеча 🥴. Последний год все сильно поменялось: модели, за рл-енные на харнессы стали реально круто работать, и ебаные идеи стали проще заводиться и приносить больше эффектов. Так что я вижу, как естественным образом в ключевых проектах мы забрасываем workflows, и перелазим на харнесс инжениринг (даже там, где сам процесс вполне себе описывается стройной BPM схемой). А фундаментальная команда всё больше занимается тюнами под харнессы, нежели дистиллами отдельных кубиков: именно поэтому мы перестали развивать линейку general моделей T-Pro и инвестировали в развитие экспертизы по тюнам под конкретные харнессы (T-Search). Но все, кто занимался агентизацией, знает про классическую проблему размена автономности (эффекта) на качество (риски). Делаещь фабрику кода на агентах, убираешь код ревью и умираешь от отложенных эффектов в виде инцидентов и засранной нейрослопом кодовой базы. Я, как MLE, в этом вопросе придерживаюсь простого принципа: делай сильный контроль качества с оцифровкой всех необходимых тебе свойств, и тогда ты можешь позволить себе любую автономную систему под капотом. Тюнишь ее, пока тебя не начинает устраивать цифра на дашике, или деградируешь на более простую и предсказуемую автоматизацию. Благо в массовых операционных процессах такие контроли качества все равно приходится строить: без контура контроля люди начнут страдать фигней и без всяких ллм. В инженерных задачах это проблематичнее: иногда отревьюить код более трудозатратно, чем его написать. Поэтому все так и бегут в отключение контура контроля в кодинге: без этого эффектов не видать. Так что поиск альтернативных подходов к контролю качества тут стоит остро. И тут мне и попался видос чувака, который предлагает альтернативу: давайте оставим код ревью, но перенесем часть усилий на шаг верхнеуровневого дизайна решения. Не будем отдавать агенту тикет, а сначала проработаем архитектуру, колстек и даже сигнатуры ключевых функций. Не будем отдавать агенту ту часть, в которой они сейчас объективно плохи. Тогда и само ревью будет проходить гораздо проще: не нужно разбираться в вермишели логики, а достаточно будет понять, что содержание PR соответствует архитектурному плану. И в таком сетапе хотя полной автоматизации не происходит - общее ускорение случается. Я не уверен на 100%, что это универсально рабочая схема, но я точно беру себе на заметку идею, что выбор точки делегирования агенту задачи - это важный фактор успеха. Если общеизвестно, что агент в чем то плох, то возможно и не нужно страдать, пытаясь оцифровать ваши ожидания, а просто найти удобный промежуточный язык оцифровки ваших ожиданий, и общаться с агентом на нем, а не заставлять агента ваши ожидания угадывать.

Очень смущают регулярные статьи вида «опенсорс всего на пол шага отстают от проприетарных моделей». Для меня это очень больная тема, потому что у нас в Т работает очень крутая фундаментальная команда, которая регулярно вытаскивает продуктовые инициативы из задницы, когда оказывается что опенсорс работает далеко не так радужно, как хочется. И если раньше проблема скорее была в сатурированых и оверфитнутых бенчах, то сейчас с усложнением агентских сценариев, кажется проблема чуть тоньше. Вот мы делали агентов поддержки. Жирный хвост запросов в полностью цифровом саппорте - невероятно сложная вещь. И после того, как ребята проделали огромную работу: оцифровали и стандартизировали эти регламенты с точностью до самого галимого edge-case, оказалось, что GPT-5 в такой среде дает галлюцинаций как средний сотрудник поддержки (абсолют увы раскрыть не могу), а всё самое современное поколение квенов Кими дипсиков и прочих - отбитые 20% галлюцинаций. Очевидно, это в прод не поедет. Хотя по бенчам все достаточно близко. И моя гипотеза, что тут две проблемы: а/ подавляющее количество бенчей предполагает существование правильного ответа. Как в ЕГЭ - написать хоть что-то лучше чем не писать ничего. Вот модели и подхватывают это поведение фундаментально от целеполагания. Все, включая китайские, но те, как более агрессивные оверфитеры серьезнее от этого страдают б/ китайцы жестко дистиллятся и мы видим артефакты сильной опоры на SFT / шумного реворда от LLM-критика. Живая RL среда в этом смысле меньше спихивает политику в режим «отвечай любой ценой» Можно еще поспекулировать на эту тему, но факт остается: как бы нам продуктово не было удобно забить на дообучение, но на опенсорсе в действительно сложных задачах все еще невозможно бежать без тюнов. И это сильно усложняет агентизацию рф компаний: нет так много ребят могут позволить себе заводить онлайн рл на огромном кластере и имеют процессы, автоматизация которых финансово это упражнение оправдывает.

Я сначала кринжевал с Барсика, купившего автомобиль в тбанке, а потом осознал весь постмодерн ситуации. Ведь раньше как было: случался инфоповод, вирусился в соцсетях, и потом пиарщики крупных компаний его обыгрывали широкой коммуникацией. А тут и инфоповод выдумали, и вириальную реакцию медиа нарисовали, только финальный ролик сами реально сделали. Ну просто Generation П с нарисованным правительством. Абсолют синема. Когда мы придумывали брендинг для нашей линейки генеративных ассистентов, наш главный пиарщик Т настаивал на названии «горыныч». Мы его не послушали и назвали низкотестостеронным gen-t. А теперь, думаю, зря, возможно совсем по-другому бы все поехало. Гений виден на расстоянии, что уж.

А зачем вообще вести тг канал? Иногда меня про это спрашивают знакомые, но чаще я сам задаюсь этим вопросом. На поверхности ответ простой: потому что мне нравится. Я легко могу провалиться в состояние потока, набирая очередной пост, и получаю много эмоций, когда вижу что мои мысли вызывают отклик. Но ради этого канал заводить не обязательно: в разговоре с интересным человеком или публичных выступлениях эту потребность можно тоже закрыть. Легко сказать, какие причины точно меня не драйвят. Монетизация, даже если раскачать канал, будет копеечная, а рекламу вставлять не хочется определенно - это точно поломаем все доверие. Сделать канал джампстартом для инфобиза тоже идея сомнительная - основная работа принесет гораздо больше. Личный бренд гораздо лучше качается через профильные СМИ на интересующую аудиторию. Бизнесом тут и не пахнет. Но пользу в ведении канала я все равно вижу. Когда я первый раз пришел на прямой эфир на радио, нацепил наушники и увидел сигнал, что мы полетели, я неожиданно понял, что в моей голове полная пустота и я через ватную стену слышу голоса ведущих, слабо понимая, о чем они говорят. И вытащил я себя из этого ступора простым рычагом: про все темы, что мы обсуждали я уже несколько раз подумал, набирая тот или иной пост сюда. Оставалось в духе постмодерна склеивать собственные готовые тезисы в складное повествование, иногда импровизируя. Но важно, что 80% мыслительной работы было проделано в офлайне, чтоб в онлайне сфокусироваться на форме, а не содержании. Та же история с панельными дискуссиями, где тебе есть что сказать на свои темы, и ты можешь внимательнее слушать других участников дискуссии, делать к нам отсылки, спорить, не опасаясь того, что забудешь собственную нить рассказа. Очень полезно, очень рекомендую. Но отрабатывать публичные выступления можно и в стол, почему же канал? А тут мне нравится не-помню-чей-совет, что в жизни надо «найти своих людей и успокоиться». И так уж вышло, что самых близких по духу людей я встретил на стыке бизнеса, управления и AI. Именно с этими ребятами у меня выработалась самая крепкая цеховая солидарность и взаимный интерес. И канал - это возможность послать сигнал своим, мол «ребят, мы одно дело делаем, и живем одними же и теми проблемами». И вот эта сеть взаимного доверия, опирающегося на общие интересы и ценности, на мой взгляд самый классный выхлоп из всей этой затеи.

Попугая научили говорить «эскалация» и он стал senior engineering manager’ом Какое-то время назад я отпустил в свободное плавание мл руководителя, с которым вместе прошли огонь и воду. Недавно пересеклись в коридоре, стали обсуждать, как у него дела в новой роли. И погружаясь в его сложности с огромным неудовольствием понял, что отправил я его в это свободное плавание недостаточно экипированным. На то, конечно, были причины: мы в последнем совместном проекте фокусно осушали болото, где не оставалось других инструментов, кроме как агрессивная война до победного. Но в другом контексте эта тактика может оказаться наоборот контрпродуктивной. Воевать начинающие менеджеры любят (знаю по себе). Делают это со страха или от бунтарства, и делают это через край. Другая крайность - полная пассивность, случается гораздо реже - такие ребята в управление и не лезут, так что чаще всего это горящие глаза, метрики наперевес, и готовность вытаскивать на свет божий и душить каждую неэффективность и угрозу своим целям, попадающуюся на пути. Вообще такой энергичный настрой - это классно. Гораздо лучше, чем потухшие глаза и унылое «просто оставьте меня в покое, я жду бонуса». Но такие ребята часто сами себя закапывают по двум причинам: А/ они могут быть просто не правы, и игнорируют какие-то важные ньюансы, о которых их пытаются предупредить Б/ Они игнорируют фактическое положение вещей и свои реальные возможности повлиять на ситуацию. Я тут пишу «они», но важно, что я себя от абстрактных «них» не отделяю - у меня какое-то время назад 360 опрос выдал мне чудовищную обратную связь, с которой я потом годами работал. Так что напор может лишить менеджера важной информации, и не дать отличать ситуацию «да они просто не хотят» от «они объективно не могут». А если, все же «не хотят», то понять а чего «хотят». Может показаться, что через эскалацию можно сломить чью то мотивацию - но это большая иллюзия. Если у вас системный конфликт интересов, то разовые пиздюли не помогут: нужно искать взаимную выгоду. Иногда эта взаимная выгода «ты мне помогаешь, или будешь регулярно огребать», но это невероятно дорогой процесс для всех участников. Чаще полезно искать более системный взаимный интерес. А для этого надо сначала понять, а чего человек хочет, и сделать это невозможно, если ты в состоянии войны. Это, кстати, работает и с подчиненными: можно давить на человека и выжимать то, что вам от него нужно, но это не может быть прочным и долгосрочным фундаментов успешной совместной работы. Вообще, главное, что я понял про работу в коммерческих компаниях: вся управленческая работа - это ежедневные взаимовыгодные сделки. И талант менеджера - расширять поле возможных опций, чтоб чаще находить win-win. Этот win-win не обязан быть приятным (ты мне результаты - я тебе возможность спокойно работать), но он должен быть реалистичен и взаимно куплен. Ну иногда и эскалировать, конечно, надо, просто, чтоб вашим любимым коллегам жизнь медом не казалась.

Я думал, что буду писать «обо всём», но оказалось, что глубоко занимают меня на деле только две вещи: кусочки кремния, делающие вид, что они что-то понимают и люди, за которыми идут другие. Об этом дальше и поговорим

Ну и для пропустивших айти пикник прилетели записи выступлений, где я в частности делился мыслями на тему «как не заниматься фигней в ген-аи». Хэв фан и хороших выходных ✌️

Я про это не задумывался, но тут на панельной дискуссии прямо прочувствовал, насколько же SME терпеть не могут маркетплейсы. Раньте я про это догадывался: штрафы, произвольные комиссии за логистику, короче все то, что в сми регулярно фигурирует. А кажется гораздо более фундаментальная проблема - это потеря прямого контакта с клиентом. Ты, все таки, не бренд, который лежит на полках офлайн ритейла и крутит бюджеты, которыми можно маркетироваться через массовые каналы типо телека. Ты обычно работаешь точечно по своей клиентской базе, а тут у тебя контакт к базе отбирают. Мрак короче. Но кажется, пока условный сималенд везет все барахло мира в маркетпоейсы, а клиенты довольны, селлерам остается скрипеть зубами и брать ту дистрибьюцию, что дают. Или же у нас все-таки кто-то построит свой Shopify. В Штатах топ-3 маркетпоейсов держат 50% рынка еком. У нас 60%. Не в последнюю очередь потому, что у нас нет независимой мерчант платформы, а есть пачка решений, из которых свой Shopify надо собирать самостоятельно. Кажется, что как минимум на словах запрос на это есть, но появится ли независимая альтернатива маркетплейсам - увидим.

ИИ-зация и культура Когда организация начинает процесс стратегической ии-зации в точке ноль есть две слабосмешанные фракции: продвинутые технари и продвинутые ребята от бизнеса/продукта. Эти два племени по умолчанию не очень хорошо понимают друг друга, и на некоторых уровнях их мотивы явно конфликтуют. Если вы автоматизируете функцию, которую сейчас делают на руках - по сути это угроза чьему-то стабильному положению в компании. Так что задача нетривиальная. Есть простой рецепт, когда это сращивание невозможно в принципе: когда целеполагание всей бизнес вертикали ортогонально задачам ии-зации. Все будут кивать головами/предлагать еще пообсуждать/активно файтиться, а решения приниматься не будут. Поэтому предполагаю, что шагом ноль целеполагание между этими фракциями выровнено, и у бизнес лидеров есть мотивация ии-зироваться, а этот интерес пролит вниз по организации. По опыту дальше происходит попытка «неинвазивного внедрения». Технари не особо погружаются в бизнес и начинают клепать инструменты и отдавать их в бизнес. Бизнес зовет делать неважные для общего успеха вещи, и не спешит открываться в принципиальных процессах. Это та сила, которая рождает сотни саммарищаций и рагов, которые остаются демками, еавнгелизм и платформы без единого пользователя. Задача лидера пресекать такую попытку ии-зации и фокусировать команду на принципиальных вещах. Вот в этот момент и вскрывается взаимное недоверие и непонимание. Обоснованное. Инженеры реально ничерта не понимают в процессах, за которые берутся, и это ок. Ребята от бизнеса ничего не понимают в мл и не спешат менять свои процессы ради рискованных инициатив (и это тоже ок). Тут нужно взаимное опыление: команда на самом деле поедет только тогда, когда млщики будут разбираться хотя бы на базовом уровне в бизнесе, который автоматизируют, а ключевые люди процесса будут понимать, что такое «разметка», «эвал», «согласованность». И тут нет никаких читкодов, это взаимное опыление требует времени. Как его провести с пользой? Сузить скоуп. Такой команде очень нужен опыт общего успеха. Беремся за небольшой проект с низкими рисками, вместе получаем дофамин и взаимный опыт, берем вес тяжелее. Чем больше люди друг с другом работают, тем больше доверия. Здесь опытный лидер займется опразрачиванием этой стратегии наверх, чтоб было понятно «почему они занялись такой мелочевкой» и помогает организовать настоящую кроссфункционпльную команду, где все участники вовлечены в проблемы друг друга, а не перекидываются залачками через забор. По результату такой активности у вас есть мафия взаимного доверия. И на плечах этой сыгранной команды можно двигаться дальше, транзитивно вовлекая в секту свидетелей ии-зации все новых союзников. Но важно, что все это требует времени, терпения и фокуса: в прошлой каденции с бумажек на эксель не один десяток лет пересаживались.

У нас в команде млизации операционки за агентов в поддержке отвечает MLE, построивший Яндекс Нейро (сейчас Алиса AI). И с переодичностью раз в пол года я прихожу к нему и спрашиваю «нет, ну ты скажи, все-таки как попасть в выдачу Нейро своими товарами». И он каждый раз стоически повторяет «делай SEO, попадай в SERP на обычном поиске по релевантным запросам и попадешь в выдачу генеративки». Я говорю угу, и ухожу еще на пол года, пока у меня снова не созреет мысль «ну нет, должно быть что-то еще». И видимо в гугле это «что-то еще» уже произошло. Чуваки проанализировали выдачу классического поиска и AI-mode и обнаружили что последний рекомендуют существенно более дорогие (на 21%) товары, чем классический поиск. Оч рекомендую почитать анализ, если вы как-то связанные с еком, выглядит убедительно. Но и печально при этом. Генеративки в В2С типично продаются под соусом «мы сделаем выбор за вас, и он будет оптимальным». А выходит, что нет, причем, на 20% нет. Я и бы понял, если бы это было проплаченные позиции, но сравнивали органику с органикой. Уверен, что это со временем поправят, но мне кажется это интересный сигнал: даже Google в GenAI продуктах пока не научился встать, на сторону пользователя. И несмотря на средний скепсис в индустрии про возможность сделать конкурента гигантам в В2С, хочется думать, что все-таки эта opportunity еще вполне себе есть и жива.