Остриков пилит агентов

Господа дизрапторы, есть вопрос Сейчас многие компании пилят переход на ai sdlc: тинькофф пилит, сбер пилит, яндекс тоже пилит. Обычно под капотом там сразу строится огромный космолёт, но я хотел бы с вами обсудить самый верхний кирпичик - как разработчику вынуть руки из сидения в codex и реализации самой фичи и остаться только на верхнем уровне: обсуждении самого изменения и уточнении спеки Короче, нужно помощь зала: как вы видите, в идеальном новом мире продуктовую и техническую реализацию самых верхних кусочков ai sdlc? (слово «продуктовую» здесь намного важнее технического, пилить техничку мы умеем, а вот делать удобные продукты гораздо сложнее) Итак: - в какой интерфейс изначально приходит желающий внести изменения в продукт? таск трекер типа JIRA/Tracker/Linear, локальный ai-агент со нужным скиллом или еще варианты? - два разных человека, продакт и инженер-разработчик, приходят в один и тот же интерфейс верхнего уровня? - как будет отличаться продуктовый путь продакта и инженера по нескольким первым шагам процесса? - как сужать область нужных сервисов в зависимости от изначального запроса? особенно, если микросервисов в компании - сотни. Просить людей выставлять теги или научиться определять зависимые сервисы по контексту? - как выглядят эти несколько первых шагов? сначала ai-агент задает наводящие вопросы, формирует продуктовое изменение фичи. Затем оно передается кому-то из технической команды (инженеру), который уже финализирует спеку, и затем оно спускается ниже на агентов, которые пишут код? или можно сделать все проще, например, без инженеров? - как правильно агенту вместе с инженером финализировать спеку? на какие вопросы должен ответить инженер, чтобы у следующих уровней агентов при реализации не было возможности наоверинженерить Нижние шаги, типа правильной реализации, ПР, мержа, тестирования, деплоя, проверки мониторингов пока не трогаем, это отдельная война. Очень благодарен всем, кто чудесным субботним утром вместо отдыха и чилла решит поделиться мыслишками. ——— Почему спрашиваю - сижу, думаю, в фоне над этой штукой, и финальная красивая картинка до сих пор не склеивается

Дело было месяц назад, сижу работаю, задачки закрываю, только-только встал с костылей... Прибегают люди с видеокамерами, надевают микрофон и начинают допрос с пристрастием: что там в вашем мире агентов происходит, чем дышите и стоит ли сейчас заходить в ИИ? Ну а если без шуток, команда нашего бренда, которая записывает разные эпизоды про жизнь яндексоидов, позвала в формат «1×1» - где болтают про твои интересы и чем вообще живёшь. А так как из интересов у меня только агенты (про апероль умолчал), разговор и получился ровно про них. Обсудили и то, на каком моноколесе быстрее вайбкодится, и на кого должен быть похож разработчик ИИ агентов, и даже кем я вижу себя через пять лет - жаль, не спросили сколько будут счета за подписки. Выпуск можно глянуть на YouTube и в VK Видео Тут еще больше наших историй - @yandex

Предлагаю не-аперольный флешмоб А давайте друг с другом поделимся историями, когда у вас в голове произошёл щелчок, и вы вдруг резко поверили в AI и новое будущее У меня таких было три, записал видос Призыв ко всем братишкам и сестренкам, которые еще ни разу не писали комменты - делитесь тоже, в любом формате, хоть текст, хоть видео, хоть кружочек Соберем альманах историй, по которому (я уверен) Пух потом напишет третью книгу 🤓

Пффф… так не надо всегда использовать апероль! Это же расточительство! Для основных задач используй водочку - там лимиты значительно медленнее расходуются, а эффект даже лучше иногда. По совету от уважаемого маэстро @sergeinotevskii переходим на правильный ризонинг до конца отпуска

Уперся в лимит аперолей за пять часов, приходится писать пост В последние пару недель до отпуска много оптимизировал своего любимого скилл-бейст-агента нашего контура, который отвечает на разные вопросы, от продукта до разработки. Сейчас это довольно лаконичный агент, у которого есть около 10 скиллов - умеет видеть наши задачи, коммиты, раскатку по странам, ходить в БД, анализировать эксперименты итд, уже прям хороший помощник. Плюс два файла, связывающих все воедино: AGENTS.md, там личность агента, его назначение, правила. И PLAYBOOK.md, в нём карта маршрутов по всем скиллам и few-shots примеры. Но чем больше становится у него скиллов, тем больше глюков. А иногда он не понимает контекст полностью как человек, хотя мозги там 5.6 Sol. Попадаются тупняки типа "что делал Остриков на этой неделе?", он отвечает просто по тикетам, забывая проверять влитые в транк ПР. Короче, тюнить его становится всё сложнее. Вот три приёма, которые помогают в этом: 1. Пишите все логи Простите за базу, 100% все и так это знают. Но тем не менее - без логов улучшать агента можно лишь по картам Таро (привет победителям хакатона Туту!) В логах должны быть: сообщения и пользаков и агента, ID-шники сообщений по которым шёл реплай в телеге, все tool calls, параметры которые улетали в них и возвращаемые значения, кол-во токенов, время отправки сообщений и тайминги ответа модели. Можно не париться с LangFuse, просто сложите всё это себе в БД или в файлы под ноги. 2. Собирайте фидбек прям из диалогов Когда бот тупит, следующим сообщением ему пишите, что он сделал не так и как исправиться: - Что делал Остриков на этой неделе? - У этого бездельника два открытых тикета и больше ничего - На таком вопросе всегда также проверяй движ в ПР - Понял, вижу - он ещё замержил 5 ПР про нового агента, а по двум его засыпали комментами И приучите так делать всех пользователей. Хитрость вот в чем, раз в пару дней вы даёте агенту задачу, типа такого: - Прочитай все диалоги агента, прочитай фидбек который давали пользователи. Там, где он был конструктивный предложи улучшения скиллов, чтобы агент сразу отвечал правильно. Фидбек Коли игнорируй, он мудак Затем вы получаете результаты, внимательно их отсматриваете и обновляете скиллы на новую версию. Можно это все собрать в некий цикл самоулучшающегося лупа, но без человеческого контроля будет у вас залупа. 3. Проверяйте траектории ответа на вопрос Уверен, вы сами знаете, что в каком порядке агент должен дернуть, чтобы дать ответ на вопрос. Но дело в том, что llm часто усложняют эту логику и добавляют лишние шаги. Например, в простом вопросе про включеные эксперименты за вчера, агент может вместо проверки API экспериментов, пойти еще проверять закрытые тикеты. Тут нет никакой магии. Для начала я прикрутил удобный визуал отслеживания прогресса прямо в telegram, это сообщение постоянно редактируется и видно как агент думает и что делает: 🤔 Думаю… 🧩 Скилл «DataLens» — изучаю инструкцию 📊 DataLens — получаю данные отчёта 🔎 Intrasearch — ищу внутренние материалы 🧩 Скилл «Аналитика экспериментов» — изучаю инструкцию Тут например видно, что он зря использовал Intrasearch, это вообще не в тему. Поднимаете логи, расковыриваете эту сессию и смотрите где агент пошёл зарываться. Потом упрощаете инструкции, добавляете пример итд. Плюс в целом, если он на простой вопрос отвечает слишком долго, тоже ковыряйте и разбирайтесь. Много интересного всегда вылезает на кросс-пересечении нескольких скиллов, когда вопрос затрагивает три-четыре штуки. Anyway, все эти приемы далеки от промышленных sota решений по авто-улчшению скиллов, но они работают. Окейюшки, пока писал пост апероль-лимит снялся, убегаю. Пока!

Ура, наконец-то в отпуске! KPI на эти 2 недели: - не думать о работе (уже смешно) - не трогать codex (ору просто 😆) - ну окей, иметь больше аперолей в день, чем сессий кодекса (тут без шуток) - и купить огромного надувного утенка (дедлайн - завтра) Серьезного контента ожидать точно не стоит, а вот мыслей за жизнь и историй - вполне, могут пролиться. Да и в целом, есть вас мучают любые фундаментальные вопросы типа ботать сейчас программирование или сразу на завод - кидайте в комментарии, ответим ✍🏻

Так, охотники за лимитами, 5 сентября намечается ещё одна конференция - deep tech night: https://deeptechnight.ru/ Это большая конференция Яндекса о том, что происходит, когда AI доезжает до настоящих продуктов, инфраструктуры и физических операций. Из спикеров я лично знаком со Стасом Макеевым, CTO Лавки. Он будет рассказывать про их империю агентов, которая уже управляет кусочками реального мира: спросом, остатками, поставками, сборкой и доставкой. Про что ещё поговорят: - про Physical AI и почему собрать робота, который не нарушает три закона Азимова, сильно проще, чем научить его догонять Тибо и выбивать из него ресет - как AI меняет профессию разработчика: ускорение на 50% или всё-таки полная перестройка команд? И сколько подписок по $200 теперь нужно одному инженеру - как собирать долгоживущие сессии агентов в облаке и проектировать интерфейсы для агентских продуктов - про NPU, инференс-фреймворки, RL-инфраструктуру, новые рекомендательные системы и прочую инженерную духоту 🤌🏻 Основной формат конференции - онлайн. Можно подключиться к трекам Hard и Experiment, а ещё поучаствовать в Q&A со спикерами. Можно попытать счастья и оставить заявку на офлайн: https://deeptechnight.ru/offline Он пройдёт в московском офисе Яндекса, формат invite-only, а мест совсем немного. Чисто от меня рекомендация - залетайте. Спикеры и темы топ, внутри компании сейчас идёт очень активный движ в эту сторону. Хороший шанс послушать не пересказ новостей, а истории из первых рук, насколько просто строить и тащить ИИ-шечку в прод. 👇🏼👇🏼👇🏼 https://deeptechnight.ru/ ☝🏼☝🏼☝🏼 ——— Тибо и Борис Черный тоже приглашены. Если доедут, будет шанс сфотографироваться и предъявить за баны

блин опять без книги не обошлось 😄 но скинул все равно, там вроде понятна логика как факты собираются и как потом подсовываются агенту

Мало кто знает, но Нил Дракманн не сам придумал концовку The Last of Us. Вариант, где Джоэл спасает Элли от светлячков, был начисто слизан с реальной истории. В реале как раз Пух спасал Осинару, отбиваясь от наемников, которые хотели исследовать её модель памяти, именно этим и вдохновлялся Нил. Но ещё меньше народу знает, что есть альтернативная ветка происходящего. В этой ветке Пух, к сожалению, не успел спасти Осинару. Мерзкие иследователи добрались до неё и чтобы спасти человечество от агентов, разложили её память на атомы. Так и появилась вторая книга от издательского дома «Дизрапт» 👇🏼👇🏼👇🏼 В этой книге детально разбирается, как устроена память агента - нити памяти, границы доступа, разные слои. ——— Если для вас это кажется полным бредом, это не значит что у Острикова началась деменция. Все эти шуточки-прибауточки лишь часть лора нашего чатика, в котором обитает много интересных персонажей и историй. Осинара - наша добрая фея, ювелирно созданная Пухом на движке Eve, допиленная и улучшенная, а в книге ниже - её модель памяти. https://github.com/nyxandro/osinara Поболтать с ней можно в чатике. Ну а Пух, если кто не знает, это наш бессменный старожил чата, генерал словесных баталий, чемпион по количеству комментариев во всех русских чатах AI-комьюнити и просто отличный человек - @nyxandro Автор уже двух книжек. И даже telegram-канал имеется: https://t.me/AiHubFeed Всё, закругляемся. Книга ниже 👇🏼👇🏼👇🏼

Новости, ребят, вышел новый протокол. Ну как протокол - новый формат файликов в папке: https://agent-plugins.org/ В октябре прошлого года вышли скиллы и люди их в итоге выкупили. Теперь везде полно разных Skill Store: - наш отечественный: https://skill-store.ru/ - от Vercel: https://www.skills.sh/ - от Валеры: https://neuraldeep.ru/skills Даже внутри Яндекса теперь есть свой Skill Store и народ им постоянно пользуется. Но что делать с MCP? Обычно descriptions и схемы всех подключённых MCP-тулов харнесс сразу кладёт в контекст. Скиллы устроены хитрее: сначала модель видит только короткие name и description, а полная инструкция подгружается, когда скилл понадобился. Поэтому ушлые ребята научились вообще не подключать часть MCP постоянно. Вместо этого кладут CLI или API-клиент в scripts скилла, пишут в description, когда этим пользоваться, и получают лучшее от обоих миров: тулы есть, а контекст заранее не съеден. Плохо что ли? Хорошо! Так вот, умные дяди из OpenAI, Vercel и прочих компаний решили объединить два лагеря и сделали единый формат упаковки обеих сущностей. Behold! Agent Plugins! 🙏🏻 Теперь в один пакет можно положить: - пачку скиллов; - mcp.json с конфигами MCP-серверов; - client extensions - любые дополнительные файлы для конкретного харнесса. Плохо что ли? А зачем?... В чём смысл такого «пакета умений», если это просто коробка рассыпанных шестерёнок без инструкции по сборке? Допустим, идея была в том, что ты подключаешь плагин - и модель сразу превращается в волка с Уолл-стрит: проводит интервью через skill1, отрабатывает возражения через skill2, оформляет покупку через MCP1 и пишет в поддержку через MCP2. Но нет. В plugin.json есть короткий description, у каждого скилла есть свой description, у MCP-тулов тоже будут свои descriptions. А центрального переносимого PLUGIN.md, который объясняет модели весь продукт целиком - какие задачи он решает, как выбирать сценарий и как собирать skills и MCP в один workflow - в стандарте нет. Это всё равно придётся прописывать уровнем выше: в инструкциях вашего харнесса, отдельном meta-skill или client extension, который другие клиенты уже не обязаны понимать. Подгрузятся ли после подключения плагина descriptions и схемы всех MCP-тулов в контекст? Стандарт этого не определяет. Один харнесс загрузит всё сразу, другой спрячет тулы за tool search, третий подключит MCP только по необходимости. Как настроите - так и будет. То есть пока это просто удобная коробка для доставки skills и MCP. Коробка хорошая, но инструкцию по сборке забыли - так бы сказал наш миньон-ревьювер, Захар привет! Не отдавайте главного архитектора в IKEA. <пингвин_в_наклоне.jpg>

Более спокойная версия, без матюков. Можно скинуть и маме, и тому, кто только начинает разбираться в агентах. Только потом не удивляйтесь, если мама напишет харнесс лучше вашего.

@aostrikov для ценителей на всякий случай.

Однажды у пачки AI-инфлюенсеров резко закончились подписки, Tibo не порадовал ребят ресетом и они пошли трогать траву. Трогали на лужайках, трогали в парках, трогали в контактных зоопарках и постепенно судьба привела их в лес. В лесу они разожгли костер, набили свои трубки и долго и упорно спорили по разным аспектам AI. - что такое модель и что такое контекст? - а что такое агенты и что такое тулзы, скиллы и мсп? - сколько субагентов смогут написать луп из семи харнессов? Казалось бы, простые вопросы, но эти ребята курили трубки до самого раннего утра и спорили, спорили, спорили. Но они не знали, что всё это время в кустах сидел Пух со включенным микрофоном и записывал все их разговоры. А потом он пошел домой, включил клода, скормил ему записи и все тайные, секретные, но родные для ребят истории улетели в контекст модели. Случилась глобальная протечка базы. И родилась книга. ——— Ну а если по-простому, перед вами квинтэссенция полугода переписок в нашем чатике, скормленная Пухом в клод и дистиллированная в книгу. Книгу, за которой уже начинает охотиться O’Reilly, Манн Иванов и Фербер и все лучшие издательские дома нового света, не зная что она была написана под воздействием самого душевного скилла. Но для вас эта книга бесплатна. Пока. На след неделе будет 15к 👇🏻👇🏼👇🏽

☝🏻☝🏻☝🏻 Считаю Колю одним из самых сильных AI-спецов в РФ комьюнити, а тут еще и дорогобогатый подкаст в уютной студии вышел Упираемся в 5-часовой лимит и смотрим 🍿

Вышел первый серьезный подкаст со мной Получилось очень живо и плотно по темам. Обсуждали скиллы, безопасность и сложности внедрения в компании Классно, что получилось обсудить много микро-деталей, которые обычно не влезают в тг посты. На чилловый просмотр под пиво/чай/прогулку – самое оно 00:01:47 - Бизнесу часто не нужен отдельный кастомный AI-продукт 00:16:56 - Люди не могут рассказать, как именно делают свою работу, а агенту, как и сотруднику, нужен онбординг 00:24:39 - Полностью автоматические системы регулярно проваливаются 00:36:43 - Доступ в терминал делает агента гибким, но усложняет контроль. Ценность смещается от производства результата к ответственности за него 00:47:08 - Корпоративная инерция и Shadow AI 01:01:40 - Слабые места моделей; Как быстрее всего учиться строить ИИ продукты 01:17:10 - Разрыв между лидерами и остальными. Внедрять ИИ важно не только из-за роста производительности в моменте 📱 Смотреть полную версию Бтв, нарезку выше сделал агент с нуля, но с одним небольшим хаком, угадаете каким?

Всем от души кто залетел 🤌🏻

👨‍💻 Прямо сейчас встречаемся на балконе на крыше офиса, чтобы поразгонять про ИИ — если он теперь пишет код, то что делает разработчик? Узнаем на стриме — вместе с Лешей Остриковым, руководителем разработки в одной из команд Яндекса, а еще мастером по AI агентам. https://www.twitch.tv/yandex https://www.twitch.tv/yandex https://www.twitch.tv/yandex

Главная новость прошедшей недели: Дарио сказал ФАК Ю ... и забанил меня в четверг. Fable, вечная память. Пришлось в спешке пересаживаться на кодекс, благо там есть волшебная кнопка - перенести все из клода. Главная проблема была в скиллах. За последние несколько месяцев очень глубоко оброс скиллами для внутренних систем, некоторые дублировали друг друга. Часть знаний, компенсирующих разные ошибки, осели в заметках памяти, часть расползлась по CLAUDE.md, часть скиллов не подходили под кодекс. Переделка скиллов заняла два с половиной дня. Сложность была в том, что для некоторых внутренних систем идеальных скиллов пока не существует. Например, для нашей системы контроля версий есть три скилла с разными сильными и слабыми сторонами. И с тремя разными авторами. Помогли в итоге три вещи: - полный анализ кодексом всех скиллов, находящихся в контексте, с безжалостной вычисткой устаревших и не актуальных. Для аудита этого добра использовал прекрасный скилл-кондуктор от @shimaoz - сравнение всех оставшихся похожих скиллов и вынесение правил про то, какие их части должны использоваться для разных сценариев в новый скилл роутинга (ахаха 😄) - скан всего контекста на предмет разных подсказок про скиллы (из обрывков памяти и AGENTS.md) и в итоге дистилляция годных знаний в тот же новый скилл роутинга. AGENTS.md оставляем максимально чистым, спасибо Борису за советы В целом ничего грандиозного, просто получилась хорошая тактическая карта - для каких кейсов использовать какие части скиллов. Неплохой вариант, когда альтернатива - идти в лички к авторам скиллов и договариваться с ними на фиксы. Короче со временем весь зоопарк скиллов превращается в помойку и нужно убираться. Если вдруг вы знаете, как правильно работать со skill hell, и, возможно, для этого существуют более продвинутые механизмы, пишите. Что ж, это была славная охота, еще повезло, что Сlaude так долго проработал. По интеллекту 5.6 Sol похож на Opus 5, они хорошо делают задачи, когда им конкретно сказать, что делать. Но творческого полета фантазии, как у Fable, у них всё-таки нет. ——— Думал ещё в этот же пост написать новости и новые сложности по Swarm OS, но он и так раздулся, сделаем отдельный. За картинку спасибо богу пикчеров @attafitamim

Наш братишка Саша Поляков оказался в жюри ИИ-хакатона, который устраивает Туту И он зазывает всех небезразличных принять участие в написании агентов или обычных решений на основе их MCP-протокола. Плюс много-много-много. Такие ивенты - это чуть ли не лучшая возможность получить опыт и закрепить его. Гораздо лучше, чем посмотреть миллион видео или прочитать 10 статей Можно участвовать в одиночку, можно командами. Сам ивент пройдет 19 августа. 20 августа финалисты будут пичить свои продукты, а 21 - награждение. Главный приз - 3 макс подписки на Сlaude Сode (шутка, аналог), ну, до момента. Отличный приз, до момента, пока вас не забанили (я до сих пор не могу пережить вчерашнюю душевную травму..)

☝🏼☝🏼☝🏼 годнота, крутейший совет, спасибо ребят но в CLI небось также удобно, мы не знаем просто... ——— из комментов: - В cli все гораздо проще, большой текст сложно читать поэтому и не надо, сразу апрув