Остриков пилит агентов

☝🏻☝🏻☝🏻 Пабам! Делаем стрим с Костей в следующие выходные, залетайте) Мы с Даней за последние 4 недели выполнили наверное 10-летку по собеседованиями на роль ювелиров по AI-агентам, будем обсуждать и это и в целом то, как сейчас меняется найм в нашей индустрии. Кидайте вопросы, на самые интересные и важные ответим

Как нанимать AI-инженеров? Как стать тем самым AI-инженером, который пройдёт отбор? И ещё целая пачка вопросов, которые возникают, когда хочешь устроиться работать по профессии, появившейся в массовом найме сравнительно недавно. Разобраться с вопросами нам поможет Алексей Остриков, который провёл уже около 200 собеседований на AI-позиции в качестве нанимающего менеджера. Да-да, вы всё правильно поняли. Это анонс нового стрима! Который состоится в субботу, 20 июня в 14:00 по Московскому времени (GMT +3). Стрим пройдёт на моём YouTube-канале (представляете? Там кнопку "подписаться" сделали!) Добавить событие в свой Google-календарь можно по ссылке. В комментариях к этому посту оставляйте вопросы, на которые мы обязательно ответим на стриме.

☝🏻☝🏻☝🏻 Как же хорошо сказано, Артём как боженька молвил. Добавлю еще про смерть героев старой школы. Я обычно улыбчивый и няшный, но читать надгробные записки тоже умею. Эпитафия сеньорам Уважаемый сеньор старой школы, который отлично умеел раскладывать архитектуру, проектировать партиционирование базы данных, продумывать проект как от миллиона пользователей перейти на 10 миллионов, знающий, как с Оракла мигрировать на Кассандру. Раньше ты был звездой. Ты качался до этого 10 лет, и в команде у тебя было звание почти Святого Гавриила. Но пришла новая школа, новый уклад. Пришли великие агенты и AI. Ты смотришь на это, и тебе кажется, что это порождение нейрослопа для школьников, которые теперь могут писать B2B SaaS за три дня, а твои навыки незыблемы, и тебе эти AI-помогаторы не нужны Так вот, дорогой друг, у тебя теперь два стула. Выбирай любой. Стул первый - это продолжать игнорировать AI-агентов. Ты также будешь руками читать архитектурные защиты и поучать разработчиков, как правильно делать архитектуру. Но проблема в том, что теперь они будут приносить тебе таких проектов в 10 раз больше, и руками сидеть с ними ты будешь вечерами и ночами. Ты раньше был гением, который мог проработать проект длиной в три месяца для команды из пяти человек, затрагивающий изменения в десяти микросервисах. Это у тебя занимало две недели, но результатом потом гордился весь отдел. Проблема в том, что теперь у тебя таких проектов будет семь. И руками вдумчиво сделать это уже не получится, только через овертаймы. А новые ожидания этого не позволят. Если ты осознанно решишь не обучаться возможностям современных агентов, то за следующий год ты довольно быстро проиграешь войну чувакам-мидлам, которые освоили эти инструменты профессионально. Тебя просто не будет хватать на их всех, и с точки зрения производительности тебя обскочит средний мидл, умеющий в четыре сессии разрабатывать и архитектуру, а еще вести проекты. И в итоге, какой бы ты ни был умный, в новом мире ты будешь работать на скорости х0,3 и буквально через полгода тебя может заменить человек, которого ты нанимал. Но есть и второй путь, дружочек. В этой альтернативной реальности ты откладываешь всё и с головой уходишь в claude code, codeх или open code. Понимаешь, как правильно вместе с ними проектировать ту же архитектуру, которую раньше ты делал две недели - за два дня. Понимаешь, как завернуть эти скиллы в AI агента-архитектора, который работает автономно, и к которому твоя команда может приходить с вопросами. Понимаешь, как создать постоянный код-ревью в рамках своей части сервисов, который масштабирует тебя и твои знания в десятки раз. Да и в целом ты сможешь, заперевшись в темной комнате, обложившись десятью вкладками Claude Code, за неделю дня сделать работу, которую в прошлом мире делала бы команда из пяти человек целый месяц. И с такими знаниями и умениями ты с уровня Архангела Гавриила превознесешься до архитектора Матрицы. ——— Все совпадения случайны. Не принимайте близко к сердцу Эпитафия касается не только сеньоров, а спецов на любых уровнях. Мастерство с AI-агентами кратно ускоряет ваши возможности и потенциал, мультиплицирует их. Если вы не знаете ничего, то вы будете в 10 раз большей слоп машиной. А если у вас есть базис, то этот базис ускоряется в 10 раз. Так что качайте базу и качайте мастерство AI инструментов. ——— P.P.S: забыл один важный момент. Текущим сеньорам в среднем по 30-40 лет. И в этом возрасте частенько наступает нежелание разбираться в чем-то большом и новом, похожее на то, как миллениалам после инстаграмма было влом понимать фишку Snapchat. С AI агентами - похожая тема, нужно пересилить себя и поесть грязи первые пару месяцев, мозг должен чуть повернуться. Буквально, помню как затирал одному руководителю службы (моложе меня) тему про авто-генерацию SQL агентами и получение данных из БД по естественным запросам, а он говорит: "Лёх, я слишком стар для этого дерьма, пусть молодые играются". Не надо так други, чуть чуть покопать и там внизу золотые горы.

#мнение Эпитафия разработчикам Традиционный разработчик старого толка должен исчезнуть. Не инженер. Не человек, который думает архитектурой, данными, рисками и продуктом. А именно разработчик, который до сих пор считает, что его главная ценность - руками писать привычный код привычным способом ИИ не убивает качество разработки. Он убивает узкие места и оправдания. Уже июнь 2026 года, запомните этот пост: - Писать тесты и держать coverage - база - Настроить CI - база - Знать, что такое quality gates - база - Думать про архитектуру и защитное программирование - база - Делать работу, которая раньше занимала спринт, за день-два - база - Вести пару проектов параллельно - база Раньше это называли высокой инженерной культурой. Теперь это минимальная гигиена Странно руками открывать DevTools и тыкать всё самому, если агент может пройти сценарий, снять логи, проверить DOM, найти ошибку и принести гипотезу. Странно руками писать миграции. Вы же модельки руками не пишете? А что так? Контракт first, схема first, миграция first, тест first - агенту вообще по барабану, ему не лень. Странно руками собирать зависимости, конфиги, workflow, nginx, Dockerfile, pre-commit и линтеры, когда это давно должно генерироваться, проверяться и фикситься автоматически. Это совершенно обычный сетап Традиционный разработчик говорит: ИИ пишет не так, как я люблю. И что? JavaScript тоже компилируется не в тот ассемблер, который тебе привычен. Ты просто его не видишь. А тут увидел diff и начал защищать не качество, а свой вкус Код - это побочный продукт требований, контрактов, тестов, ограничений, контекста и обратной связи. Коллаборации людей в общем Хороший разработчик теперь не тот, кто лично написал каждую строчку. Хороший разработчик тот, кто построил систему, где агент может быстро писать код, тесты ловят ошибки, линтеры держат стиль, CI режет мусор, rollout снижает риск, observability показывает последствия, а архитектура не расползается после третьего промпта ИИ делает баги - да. Люди тоже делают баги. В моем опыте даже больше. Просто раньше вы называли это разработкой, а теперь внезапно стали эстетами качества Наша бизнес-логика слишком сложная, ИИ не поймёт - значит вы плохо видимо разбирались если кодовая база меньше 2 млн строк кода вдруг сложная и не проглатываемая агентом с специальными обвязками вроде контекстного движка, кодграфа и внешней памяти фактов Кто-то скажет. Я не хочу работать с кодом, который не понимаю - значит, пора учиться понимать систему и выстраивать ее, а не каждую строку. В 2026 вопрос уже не внедрять ИИ или нет в разработку. Вопрос: что нужно поменять в себе, команде, процессах, архитектуре и продукте, чтобы ИИ стал нормальной частью разработки —— Здесь лежит традиционный разработчик. Он ревьюил каждую строку инлайном, спорил с агентом про стиль, боялся больших diff, презирал AI-слоп, презрительно говорил фу вайбкодеры, ломал своими правками чужие тесты и не мог написать документацию за код и любил три недели продумывать архитектуру, но до последнего был верен тому, что его призвание писать чистый код

Какое самое мудрое решение на пути к 4К подписчиков? Правильно, сделать пост не про AI. Итак, пост про Яндекс, про карьеру и на что смотреть при выборе работы. Да простит и не отрежет мне яйца деврел команда Яндекса, но скажу неочевидное: имя конторы куда идти, совсем не самое главное. Дай бог в пятерку приоритетов войдет. Выбирать нужно лишь две вещи. Это руководителя, к которому идёшь работать, и задачи, которыми идёшь заниматься. Руководитель Он вам просто должен понравиться. Вы должны захотеть работать с этим человеком и в какой-то степени на этого человека. Худшее, что может с вами быть, это если вы ненавидите руководителя, но приходится под ним работать. Эффективные союзы строятся на взаимной симпатии и уважении - когда руклю нравится работать с вами, и вам нравится работать с руклем. Вы должны видеть в нём пользу, например что благодаря его идеям вы вместе завоюете мир. В том, что он убирает проблемы с вашего пути и вы добежите до вашей цели быстрее. В том, что он помогает вам расти итд. Он, с другой стороны, должен видеть в вас классного чувака, который тащит. Выбирать руководителя нужно на финальных собеседованиях. Обычно на них задают вопросы вам, но найдите 15 минут и позадавайте вопросы руководителю. Самые неудобные, самые неприятные, но важные для вас. Вам должны понравиться его ответы и вы должны захотеть с этим человеком работать. Если союз сложится, у вас все будет великолепно. Если не сложится, в 9 случаях из 10 вы поменяете команду. Задачи В идеальном мире вы должны хорошо понимать, что вам придется копать в ближайшие годы и хотеть это делать. Для тех ребят, кто думает о карьере, в этом должен быть какой-то вызов, сложность, с которой они раньше не работали. Делать то же самое, что вы делали в других компаниях, плюс-минус карьерное самоубийство. Для совсем хитрожопых - ещё важно понимать, что эти задачи важны компании. То есть это не просто клубик юных натуралистов, на который всем похрен, а ребята реально делают важную для компании вещь. В таких подразделениях всегда есть жесткая нужда, чтобы это получилось, а иногда и дополнительные ресурсы (и давление). Такие отделы обычно растут, и хорошо показав себя на позиции IC, вам гораздо быстрее предложат стать руководителем, если вам это нужно. Итак, это две самые главные вещи - руководитель и задачи. Если с ними все сложится, то вам будет интересно работать, и если вы ебашите, у вас будет всё отлично с карьерой. Название компании, язык, на котором программируете, ноутбуки, которые вам выдают, присутствие массажных кресел - это всё шелуха. Ну, конечно, я не говорю про крайности, когда вам самим приходится покупать чайные пакетики. Яндекс и моя история Лично мне безумно повезло в Яндексе, далеко не всем так фартануло. И с задачами, и с руководителями. Мой первый руководитель помог мне обрести почву под ногами и научил верить в себя - спасибо Саша! А мой второй и основной руководитель давал огромное пространство для возможностей, позволял совершать ошибки и самому их исправлять, полную свободу, полную ответственность и помогал советом, когда было тяжело - спасибо Саша! Я безумно люблю Яндекс и постоянно всем его рекламирую. Но также я всем советую выбирать не значок конторы, а именно те две вещи, о которых пишу выше. И тем не менее, помимо этого, я люблю в Яндексе некий внутренний вайб, атмосферу и людей, это сложно передать словами. За 10 лет многое поменялось, но некое ядро, которое я любил все эти годы, оно по-прежнему там. Ну, а сейчас у всех наступает важный переломный момент, когда огромное количество карьер поменяет траектории. Старая гвардия со старыми привычками начнет тонуть. И это огромная возможность для людей, которые познали новый AI-уклад жизни, взлететь вверх и зажечь. Такой возможности не было за последние 10 лет. Так что ищите такие возможности изменить мир. Вписывайтесь в эти истории, да пребудет с вами сила. ——— Ни на что не намекаю, но мы все еще нанимаем На фото - 7 человек, которым 7 лет назад доверили сделать логистику. У них все получилось, логистика превратилась в империю. А сейчас - нас снова семь 😎

Обычно ведущие каналов должны рассказывать как всё правильно делать и делиться практиками, но сегодня мне нужна ваша помощь 🙏🏻 (все вопросы гипотетические, не будущий четкий план к действиям) Предположим, я хочу поднять внутри нашей корпоративной инфры удобную коммуналку для skill-based агентов, чтобы разные люди могли поднимать своего нового агента, навешивать ему скиллы, просить выполнять любые задачи и ставить их на крон. Помогите спроектировать, чтобы было а) просто, б) гибко, с) все требования были покрыты Пользовательский флоу: - я захожу в TG бота-оркестратора, тыкаю команду /new_agent - создается новый TG ботик, это чистый агент, внутри него - мощная моделька и базовые самые популярные скиллы, используемые внутри компании - я в чате с ботиком навайбкоживаю новые скиллы, он их подхватывает, я их проверяю и тестирую. Также могу подключить скиллы соседей - могу давать ему регулярные задания, агент их ставит на крон, ругулярно пишет про выполение - могу агента добавить в чат, указав кто может давать ему задачи - когда агент больше не нужен, я его убиваю/отключаю через оркестратора Ключевые требования: - общение с агентами через TG (первично), веб-интерфейс (вторично) - TG общение как личное, как и командное в чатах - всё на открытых технологиях и SDK, но чем более инженерно взрослый продукт, тем лучше (openclaw давай досвидания, claude code/codex/opencode - супер) - возможность иметь LLM мозги и по подпискам и по API, как внутренних моделей, так и внешних, без вендор лока на одной - можно иметь рядышком БД (постгрес), и сложить в нее любую мету - можно писать свои скиллы созданными агентами, прямо как в codex/claude - внутренний skill store считаем что есть, туда можно интегрироваться по загрузке скиллов, чтобы не гонять zip-архивы - решение не должно быть на всю компанию и супер масштабироваться, считаем что есть одна мощная тачка с ssh доступом - удобный отсмотр логов/сессий, когда люди говорят что все поломалось/зависло ——— Конечно можно дописать свои слои кода/харнесса на питоне, но чем этого меньше, тем лучше. В идеале суметь все собрать + навайбить за пару дней. Вот такая фантазия, из каких кусочков лего такое проще собрать? Есть пара идей как это все сделать, но хочется ваших советов! 🎹 За самый чётенький ответ отрываю от сердца кепку vibe coder и отправлю в любую точку РФ (если кот отдаст, пока он против)

☝🏻☝🏻☝🏻 Если кто не знает Костю Крестникова, то он мега крут. И любой его доклад крайне рекомендуется к просмотру. А тут еще и мяско про харнесс, немного про AutoResearch, разные библиотеки, Ralph Loop. Еще не смотрел, но уже не терпится. Костя, жги еще! ——— Посмотрел, супер. Прям база про харнессы, очень емко, без воды, отличная подача. Топ находка 🫰🏻

Вчера выступал на DataFest с докладом «Что такое harness и Ralph Loop» - за 23 минуты рассказал, что это за новый тип агентов, как они устроены и какие с ними можно делать прикольные вещи. Запись уже на YouTube Важный дисклеймер про сам термин Слово harness🐴 пока не устоялось. Формально им можно назвать любого AI-агента, само слово переводится как "упряжка" для LLM (то есть любая обвязка вокруг модели, которая помогает ей выполнять работу) Но по факту в индустрии последние полгода харнесом всё чаще называют именно консольных универсальных агентов (и продукты на их основе), которые работают с файлами и bash - Claude Code, Codex CLI, Cursor, OpenClaw, Hermes и десятки других. У таких агентов всегда есть четыре базовых тула (read/search/edit/bash), а вводные инструкции даются через AGENTS.md В докладе Рассказываю о том, что такое harness, какие виды харнесов бывают, как мы выбирали opensource для Сбера и почему в процессе выбора нам пришлось создать свой OSS бенчмарк для их быстрой оценки. В процессе создания мы пришли к тому, что запустили процесс эволюционного улучшения агента по мотивам AutoResearch Карпатого. Во второй части доклада рассказываю о том, что такое Ralph Loop - харнес внутри бесконечного цикла. Какие задачи этот агент может решать, как долго может работать, пока не схлопнется, и как можно решать эту проблему с помощью моих экспериментов с Anima - 1:32 - эволюция агентов: чистые LLM -> ReAct -> цепочки -> scaffolding -> harness -> каким будет следующий шаг? - 5:45 - анатомия современного harness'а: 4 базовых тула, runtime loop, управление контекстом, режимы human-in-the-loop vs human-on-the-loop - 11:07 - как мы в Сбере выбирали harness под GigaChat и почему остановились на DeepAgent от LangChain - 15:29 - свой open-source бенчмарк для harness'ов + автоулучшение через autoagents "по Карпатому" - оставил эволюцию на выходные и получил +22,5 процентных пункта качества - 18:52 - Ralph Loop: засовываем harness в bash-цикл, чтобы он мог работать днями над одной задачей - 21:04 - backpressure и Meta-Loop как защита от схлапывания - 22:11 - Anima SDK как средство борьбы со схлапыванием - что получилось, когда я запустил агента в Meta-Loop'е с задачей "стань разумным существом" и оставил на 5 дней (писал недавно в канале) Основные проекты из доклада: - презентация в PDF - deepagents - deepagents-gigachat - наш бенчмарк для харнесов - Anima SDK - набор скриптов для запуска харнесов в режиме meta-loop

Проблемы будущих нас, part 1 Наткнулся вчера на видео от PM-a команды сlaude сode, да да - Фиона работает рука об руку с Борисом. Рассказывала она про новые проблемы AI First команд разработки. И её спич вскрыл те боли, которые уже начали назревать в душе. Сейчас все вокруг в основном упороты по проблеме личной эффективности - используй агентов, скиллы, меньше делай руками. И это понятно - целиком команд, которые безумно угорели про AI, пока немного. Но наша команда как раз такая. Около семи человек, все с лютыми подписками, все спорят друг с другом почему твой агент говно и меряются скиллами, любой может сесть и за час сделать PR на 2к строк с идеей, которая только что пришла в голову. Ах да, еще мы нанимаем в эту команду. Но пост не об этом. Нагоню немного FOMO и расскажу про то, какие проблемы появляются в таких командах, и го вместе подумаем, что с этим делать. 1. Ревью Классика жанра. Код стало писать слишком просто, и все хотят замержить свои пару тысяч кода в репо. Самое типичное сообщение в чатике — "шипните PR, пожалуйста". А потом, "ну что я вам, шутка какая-то? шипните, быстро!" В итоге сейчас у нас начинается симбиоз. Многие научились гонять локальные скиллы ревью, а дополнительно мы используем ботика, который может делать ревью. Но все равно кто-то нужен, чтобы глазками посмотрел и поставил явный ОК. И это не просто пережитки прошлого. Есть несколько человек, которые глубоко понимают код, и они постоянно вытаскивают ценные комментарии, которые LLM-ки пропускают. Пока на уме следующая стратегия. Нужно взять наши последние 300 ценных комментариев в пул реквестах от кожаных и на базе них сделать скилл ревью именно для наших компонентов и нашей команды. И потом всем использовать этот скилл и постоянно его пополнять новыми кейсами. Так его ценность будет повышаться, и со временем внимания человеков будет нужно меньше и меньше. Но все равно отходить от ОКа живого человека пока страшно. 2. Выбор подходов и архитектур для новых идей Любой скажет PRD first. Проблема в том, что когда появляется PRD, он кидается в чатик, и нужно найти время, чтобы вчитаться и его осознать. А если ты нашел, вчитался и пишешь в чатике фидбэк - то портянка комментов растягивается, фокус теряется и договориться до чего-то сложно. И нужна очная встреча, как в старые добрые, на которую мы придем и отгрумим PRD-шку. А это уже похоже на процессы старой эпохи, когда мы все вместе собирались на техзащите. А еще бывает, что 30 минут не хватает и нужна еще одна встречка, которая попадет на завтра. И уже хочется застрелиться... В этом пункте у меня хороших идей пока нет, которые точно решат проблему. Буду рад услышать советы, которые помогут новые идеи среднего масштаба превращать в реализацию за день-полтора, а не за недели и архитектура решения получается классной и гибкой. 3. Распределение и передача задач в команду Бэклоги на месяц вперед еще ладно. Сейчас недостатка в идеях как инфраструктурных, так и продуктовых нет. А вот процесс планирования задач на неделю - кто что делает, пока не идеален. Да, мы ведем недельные спринты, двигаем задачки по доске, но дело в этом. Сейчас мы дошли до идеи, что выдаем каждому не задачи, а definition of done самостоятельных и понятных историй. То есть, например, человек отвечает за архитектуру и внедрение нового процесса АБ-экспериментов по версиям агентов. Он сам его продумывает, думает про UX, думает про то, как пользоваться, окает PRD, кодит, выкатывает, тестит, исправляет и так далее, без четкого ТЗ, которое написал руководитель. И главный челлендж - как передать некую идею в мозг другого человека, да так, чтобы он понял ключевое, захотел довести ее до конца и сам смог додумать детали. И за время реализации эти два видения не разошлись. В процессах старой эпохи нужно было описать задачу, собраться с продактом, детально объяснить, отдать человеку. Он подумает, вернется со своим видением, синхронизирует и так далее. Потом вы синкаетесь, встречаетесь и смотрите, как идут дела. И вот как это ускорить через AI - хороший вопрос! (достигнут лимит - будет продолжение)

Недавно один из моих бро создал канал в Телеграме Это Саша Иванов @defendend. Первый пришёл на прошлое BitGN соревнование, сидит и люто надеется победить (спойлер, в итоге он занял второе место). Там мы с ним и познакомились. Мега деятельный парниша. Каким-то чудом успевает выполнять задачи в своей группе, писать утилиты, а еще и здорово помогает нашей группе. Одна из его утилит - ast-index, он запилил тулзу, которая помогает агенту быстрее делать поиск в вашей кодовой базе, в тысячи раз быстрее, чем grep. И не только запилил, а написал про нее два поста: - что это такое и зачем - как включить и настроить в своем проекте Говорит, у этой штуки уже больше полутора тысяч пользователей внутри Яндекса, все кайфуют. Но к чему это я - он завел канал, и у него пока 26 подписчиков. И это уже никуда не годится: https://t.me/defendend_ai_dev Доколе! У нас и так сейчас переизбыток авторов в комьюнити AI-блогеров! Нам не нужны новые конкуренты. Поляна укомплектована на 100%. Всё комьюнити AI-блогеров официально просит Сашу закрыть канал и не делиться умными мыслями. Уже подписывается ручная петиция, и она будет отправлена Александру лично на дом. Давайте проголосуем, что будет с каналом: 1. Саша учтет совет мудрейших и закроет его 2. Положит болт на стариков и обгонит их всех до конца года 3. Пойдет в хардкор, достигнет пика в Телеграме, через три месяца заведёт аккаунт в Твиттере, его заметит Борис Черный и заманит в Антропик Голосуем! За лучший ответ на вопрос, что будет с каналом, Саша дарит бесплатный коучинг-мастер-класс. ——— PS: не судите строго, утренний юмор нужно куда-то потратить, теперь готов дальше ответы на вакансию разбирать. А Саша - топчик! Расти братан и жги контентом!

Два дня назад я кидал пост найма к нам на роль разработчика AI-агентов и сейчас поделюсь результатами, мы же тут за открытость! Уже пришло около 20 откликов, и практически все люди сильные и интересные, что очень очень радует. Разбираю ответы, общаемся и вдруг понял, что есть несколько вещей, которые стоит проговорить. Эта роль не совсем про “мне интересно внедрять AI”. Здесь важно, чтобы уже был уверенный инженерный опыт именно копаться в кишках агентов, а не просто пользоваться и внедрять готовые агентные системы. Энтузиазм к агентам очень нужен, но одного энтузиазма мало. Если опыта мало, качайтесь и залетайте через полгодика. А если вы сомневаетесь, но у вас есть сильная инженерная база и вам правда интересно строить такие системы, лучше напишите. Поток не огромный, со всеми лампово болтаю, спрашиваю вопросики и шучу шутки. И более того, попробуем эксперимент и заливаем видео по найму ещё и на YouTube! Посмотрим, какая конверсия и комменты будут там: 📹 https://youtu.be/oV72PXTyGmg В общем, если вдруг кто-то хотел написать, но не решился — дерзайте 🙂

Открываем воскресную рубрику #лёшапочиталгодноту, буду читать статьи умных людей и делиться TLDR. Надеюсь, не сольюсь через одну неделю. Сегодня в разборе - три статьи от Сергея Нотевского про кеширование промтов, которые форвардил несколько дней назад: https://t.me/sergeinotevskii/622 Еще раз, статьи - золото: - Главное понятие, с которым нужно подружиться: KV-cache hit rate, то есть как часто ответы вашей LLM достаются из кэша, а также процент вашего промта, который кешируется - У провайдеров разные политики кэширования. Есть автоматические и есть явные. Лучше начинать с автоматических, смотреть кеш хитрейт и думать, стоит ли ручной тюнинг - Ключевое правило – кэшироваться будет та часть промта, которая одинакова между запросами в LLM с точностью до символа. Как только в промт попадает что-то меняющееся, например, сегодняшняя дата с секундами, кэш отрежется, и все, что идет после, не будет закэшировано - Промт лучше структурировать так: Tools, System, Messages. Брейкпоинты кэша ставить либо в конце System, либо в начале Messages, в зависимости от того, насколько динамичные у вас диалоги и какая часть из них одинаковая. Для Tools обязательно используйте sort_keys=True, иначе некоторые библиотеки могут случайно менять порядок тулзов, и кеширования не будет вообще. Плюс думайте про динамические списки тулзов - озможно, такая оптимизация убьет вам всю экономику и агент будет стоить в пять раз дороже - cache_control нужно ставить ни в коем случае не в системный промпт, а на уровне API Anthropic в нужные JSON-блоки обращения в модель - Посмотрите на свои логи и перенесите все, что динамически меняется от диалога к диалогу, ближе к концу: таймстемпы, имена пользователей, некие статистики, информацию специфичную этому диалогу. В идеальном мире большая часть вашего промта должна быть одинакова, лежать в начале и не меняться даже на тысячах запросов у разных пользователей - Если вы используете OpenRouter вместо походов напрямую, он добавляет дополнительный уровень маршрутизации между внутренними провайдерами, и ваш запрос может попасть на непрогретый сервер без кэша (Bedrock вместо Vertex), и вы получите кэш-мисс - У антропиков можно явно выставить руками кеш-брейкпоинты, но не больше четырех. Например, парочку в секциях System и один в Messages. Тогда если у нас что-то меняется в конце System, сработает первый в System, а если ничего не будет меняться, сработает последний Messages закеширована будет большая часть промта - У антропиков есть два варианта кэширования на пять минут и на час разной по стоимости. Первый обойдется на 25% дороже, а второй в два раза. Зато чтение из кэша обойдется в 10 раз дешевле стандартной стоимости - Также кеш влияет на время ответа от модели. Например, на промпте в 50 000 токенов без кэша время ответа может быть 12 секунд, а с кэшом 1 секунду - У провайдеров есть минимальный размер промта для кэширования. Например, у Haiku это 4000 символов, у других моделей порядка 1000. То есть если у вас слишком простой промт, то кэширование будет доступно лишь при определенном наполнении истории - В том же Anthropic кэширование работает не на уровне API ключей, а на уровне Workspace, для того чтобы нам было удобно иметь много разных проектов, агентов и не плодить для них разные API ключи - Кэш живет ограниченное количество времени. Где-то это час, где-то пять минут, где-то больше. Помните, что он не вечен - С точки зрения мониторинга hit rate и latency ответа не должны сильно бегать от релиза к релизу и в течение дня, когда у вас система прогрета. Посматривайте на эти графики - Если у вас широкая рассылка, инициация разговора с большим количеством пользователей, сначала прогрейте кэш на первом клиенте и потом отправляйте основную часть коммуникации. Если ответ на первое сообщение будет 20 сек, а у вас хорошая многопоточность, вы за это время можете отправить тысячи запросов, не попавших в кэш ——— Уперся в лимит сообщения, на этом все! Увидимся в новых сериях 😡

А у нас новости и мы снова нанимаем 🔥 (обязательно смотрите видос, он передает вайб☝🏻) 🤔 Да кто вы вообще такие? Рассказываю подробнее, чем мы с командой реально занимаемся в Яндексе и зачем снова расширяемся. За последние пару месяцев мы построили платформу коммуникационных агентов. Они уже работают в нескольких странах, их около пяти разных, и они успели пообщаться с десятками тысяч людей. Сейчас нас семь человек и мы очень бодро летим вперед. Команда сильная, фичи льются рекой, еще буквально неделя и весь фундамент платформы (агенты, корзинки, эвалы, A/B тесты, мониторинги, аналитика) будет готов. Технически у нас платформа из микросервисов на Go. Все новые большие фичи едут через PRD-first. Мы душим друг друга на технических защитах, активно используем кодинг-ассистентов и даже смотрим peer review глазками перед мержем. Хотя и тут агенты помогают. 🍋 Окей, и какие у вас планы? Все, что у нас есть - это только начало. Совсем скоро начнется совершенно другая эпоха. Будем делать self-improvement loops для эволюции агентов, реалтайм голосовые звонки, разные персоналии агентов и A/B-эксперименты на когорты пользователей. Будем детально копаться в логике агентов, чтобы растить целевые действия, персонализировать общение под пользователя, делать кастомные тулзы под разные сегменты, тестировать разные архитектуры агентов и быстрее интегрироваться в сторонние бизнесы. 🎳 Ого, а кого ищете? Что я должен знать и уметь? Нам нужны бесстрашные ребята, которые знают агентов, умеют их готовить, понимают их кишки и могут принести в команду что-то новое. Например: - вы шикарно готовите LLM-as-judge - лучше всех понимаете, как проектировать траектории диалогов - уверены, что агенты-оркестраторы больше не нужны, их надо сжечь и перевести всё на skill-based архитектуру с десятками скиллов - вы уже пробовали что-то подобное, и у вас получилось А еще - вы умеете не опускать руки. Агенты - это мир, где далеко не всё получается с первого раза. Например, мы до сих пор пытаемся улучшить конверсию в целевые действия одного из агентов. Пока не победили, но будем биться до конца, пока не пробьем эту стену. 🏋🏽‍♀️ Как собесить будете? По формату будет два или три собеседования. Точно будет: - написание AI-агента в live-режиме за час - хардкорное общение по кишкам агентов - глубинные вопросы про поведение, оптимизации и качество Возможно, придумаем еще что-то веселое. Например, если кто-то захочет написать своего крутого агента как домашнее задание, можем поэкспериментировать. 🚀 Продано! Куда откликаться? Залетайте ко мне в личку - @aostrikov Что прислать: - CV, чтобы посмотреть опыт, с оформлением можно не париться - в чем ты крут или крута - опиши 1-2 своих главных проекта с агентами, роль и победы - если есть артефакты, например боты, скриншоты или демки, тоже закидывайте А на следующей неделе запостим вакансию. 😘 Обнял, приподнял!

в общем, други, я не так часто делюсь новостями или чем-то новым, но в этот раз просто не могу сдержаться. много месяцев я ждал какой-то софтины, которая позволит с телефона общаться в чатах и в любых приложениях чисто через голос. и ничего хорошего не выходило. и вот на прошлой неделе вышло великолепное приложение aqua voice. я им давно пользовался на mac'е, и они написали в рекламе, что они вышли на ios. и честно, это полный восторг. удобный ux, все работает. они учитывают пожелания, которые я написал с точки зрения, что не нужны заглавные буквы, можно все писать строчными, и оно просто работает. и сейчас больше половины чатов я просто надиктовываю в телеграме и в других интерфейсах. вот, например, весь этот пост целиком набран голосом. это шикарно. те, кто всегда мечтал о голосовом вводе с телефона, пробуйте. у нее есть пробный период, но в целом она не супердорогая. рекомендую. https://apps.apple.com/ru/app/aqua-voice-ai-voice-keyboard/id6759074969

☝🏻☝🏻☝🏻 Наткнулся на канале Сергея на это золото, всячески рекомендую. У нас прямо сейчас проблема на продакшене с одним из агентов, который, если аккуратно выразиться, "слишком много жрет". Прямо сейчас копаемся с ним и кэш - одна из историй раскопок. В общем, одни из лучших гайдов по оптимизациям стоимости агентов, да и в целом у Сереги классный хардкорный канал - рекоммендасьен.

Методичка по префикс кэшу “KV-cache hit rate is the single most important metric for a production-stage AI agent.” - Context engineering for AI Agents, Manus Метрика которая имеет прямое влияние на деньги, которые вы тратите на AI. Ниже - три статьи разбирающие prefix_cache с разных сторон: - Экономика кэширования и особенности провайдеров - Самые частые анти-паттерны - Кэш в AI-агентах И вишенка на торте - SKILL для ревью проекта, поиска анти-паттернов и предотвращения низкого попадания в кэш. AI да парень

Записал довольно капитанское видео, НЕ для читателей моего канала 🤡 📹 https://youtu.be/AW4gLWLrzcw Скорее всего читатели уже давным давно освоили базу и вовсю увлекаются разными AI-инструментами. Но есть категория людей, которые до сих пор не попробовала, не верит, не хочется практиковаться и в целом отрицает надвигающуюся технологическую революцию. В основном этот видос для них. Плюс дополнительно пара советов тем ребятам, которые вовсю пользуются инструментами, в какую сторону качаться на очень простых примерах. В общем пока мобильно я сильно скован костылями, пробую новые форматы. Главное, чтобы видос на Хабр не попал, там точно сольют карму. А тем временем, готовлю анализ ваших идей и критики после видео про Ai-First компанию. ——— Если в видео что-то можно улучшить - композицию, свет, добавить музычку на фоне или танцующего гепарда, кидайте советы

Как построить AI-First компанию Новое видео забирает титул самого полезного на канале. 📹 https://youtu.be/Q7pI3uUwfTI Этот рассказ о том, через что вам придется пройти, чтобы превратить компанию в AI-First. Что вообще такое AI-First и чем это отличатся от компаний прошлой эпохи? Может ли в такой компании быть только CEO и 1000 агентов? Как вообще перекладывать опыт людей в AI-агентов и кто этим должен заниматься? Видео не просто про идеологию, оно также задевает техничку. Без каких составных частей вам никогда не построить новое будущее? В чем отличие инфраструктурых от бизнесовых скиллов и кто должен их писать? Сколько придется нанять программистов, чтобы написать 100500 агентов? На самом деле, это не просто доклад. Это результат нескольких месяцев мыслей, разговоров с умными людьми и экспериментов, которые постепенно сошлись в нечто законченное, чем не стыдно поделиться. Оно будет полезно и первым лицам компаний и людям ответственным за AI-трансформацию, а также тем, кто просто хорош в своей профессии и хочет поменять мир. И последнее - если сейчас в вашей компании не происходит ничего подобного, это уже красный флажок. И возможно, именно вы станете тем, кто начнет это направление. Дерзайте! 👍 ——— На докладе у слушателей было задание - искать проблемы этой логики и ушатывать меня, за это давали призы. Можно продолжить в комментариях, за самые жесткие панчи найду что подарить.

+5

Пропал куда-то Алексей? Есть такое, сейчас расскажу. На прошлой неделе, в среду решил я открыть моноколесный сезон. Сдул пыль, надел защиту, взял камеру и погнал. Ехал в офис на Льва Толстого, от Фрунзенской до Парка Культуры. Езжу по этой дороге уже лет шесть, могу проехать с закрытыми глазами, ничего не предвещало беды. Но не в этот раз. Навстречу ехал парень на электровеле, мы попробовали изменить направление (как обычно делают), но повернули в одну сторону и врезались. У меня была скорость 40, у него под 30, то есть суммарный удар был под 70. Удар получился не лоб в лоб, я скорее правой половиной тела врезался в его велик. Удар был такой силы, что треснул шлем, правая нога вылетела из сустава, порвались большинство мышц которые ногу двигали, а я мгновенно потерял сознание. Не будь на мне всех слоев защиты, возможно и не писал бы сейчас этот постик. Память вернулась только в первой градской больнице, где вовсю делали анализы и снимки. Серьезных переломов костей на снимках не было и врачи решили просто «вправить» ногу назад. Вправили. Но после каждого раза она тут же продолжила выпадать, от самых простых движений. Плюс врачам было странно, что когда вправляли, было совсем не больно, обычно люди от этого на стену лезут. Поэтому врач решил пойти на большую операцию, заняла она около 4х часов. Он пробрался внутрь, пересобрал сустав, укрепил заднюю его часть анкерными фиксаторами, починил по возможности порванные мышцы и все зашил. Антон Анатольевич, спасибо вам! Через пару дней любимая привезла костыли и ортез, теперь он не дает правой ноге подниматься на углы, при которых она снова может выскочить из сустава. Осталось просто выждать шесть недель, пока все заживет и вокруг сустава сформируется защитная ткань, которая уже не даст ноге выпадать. И потом можно будет отложить костыли и начинать ходить как раньше. По итогу выписался домой я в этот вторник, пробыл в больнице неделю. Болей нет, спокойно шурую на костылях, могу и лежать и стоять. Главное - пока нельзя сидеть, поэтому на созвонах я либо на спине, либо на животе. Но скоро приедет специальный коленный стул, и мб можно будет и сидеть начать. Что по итогу - шлем я оставил в больнице, как и будущее планы ездить на моноколесе, а через какое-то время на мотоцикле - моя любимая теперь безумно счастлива ❤️. Такие приключения просто сняли эти будущие хотелки без всякого сожаления. Моноколесо потерялось на месте аварии и больше я его не видел. Про велосипедиста тоже ничего и не слышал, но похоже он просто встал и поехал дальше. Спасибо всем, кто навещал, писал, спрашивал как дела, вы очень помогли справиться со всей этой ерундой. Ну и до новых встреч, работа никуда не делась, просто пока её придётся делать лёжа.

Поддержать братишку Пока обезболивающее еще держит, надо успеть написать пару постов. Русская тусовка AI-блогеров довольно маленькая. И когда кто-то из ребят реально вкладывает много сил во что-то своё, иногда хочется этим поделиться. Недавно один из нас - Тимур Хахалев запустил курс по AI-кодингу. Я сам никогда не решусь делать курсы, потому что это уровень замороченности примерно как «прощай и работа и личная жизнь». Пост в его канале. А Тимур сделал. В прошлом году я покупал у него видео по Claude Code и вообще не пожалел. В январе это помогло мне нормально въехать в тему скиллов. Хотя до этого, к своему стыду, я относился к ним довольно скептически. Что особенно зашло - в программе не только написание кода, а весь цикл разработки - тестирование, деплой, поддержка и так далее. Мы сейчас делаем примерно то же самое в одном из внутренних проектов. ИМХО - именно такой подход сейчас поможет компаниям повлиять на суммарный TTM проектов. И потом вы можете начать на своей работе такой же процесс Цена, конечно, ах*еть не встать😅. Но видимо, времена такие. Я бы смотрел на ЦА этого курса так: - бабки есть, бабки не проблема (или вдруг на работе компенсируют) - вы резко осознали, что сейчас или никогда вам нужно овладеть продвинутым уровнем AI-assisted кодинга (5 сессий в параллель, prd-first) - не хотите носить деньги воздухану, хочется чтобы человек был проверенный и Hands-On Короче, если давно хотели вписаться во что-то подобное, просто ждали хорошего организатора, вот он. Еще раз ссылка на курс. (все, пойду восстанавливаться, как раз обед остывает) ——— Пост не проплачен, без реферальных ссылок, чисто поддержать Тима. Реакции специально не убираю, не держите в себе)