Остриков пилит агентов

Записали с Максом @syabro_chats первый собес по агентам, получилось круто. Агент был написал ровно за 1 час, агент работает, все части задачки были реализованы, Макс - красава! Вердикт - HIRE 📹 https://youtu.be/kSLDF91V-Wo 00:00 — Откуда взялась идея и какие правила 02:08 — Задание на агента: пишем мини-ассистента Джарвиса 03:15 — Макс рассказывает подход и выбирает Pi как SDK 06:22 — Начинаем писать план разработки 08:31 — Начинаем писать промпт агенту 12:25 — Рисуем общую архитектуру 22:23 — Рассуждаем про подход через тулзы или скиллы 26:21 — Чем Pi лучше Claude Code? 30:01 — Первое задание агенту тоже работает 36:12 — Думаем про изоляцию агента по пользователям 45:14 — Мысли о том, надо ли читать код, который пишет агент 50:59 — Макс вместо Джарвиса создал товарища майора 56:52 — Финальный тест пройден 58:22 — Рефлексируем, что можно было бы сделать лучше Будь у нас больше времени, пошли бы дальше - в изоляцию контекста пользователей, в оптимизацию токенов, в фоновое выполнение заданий, в разные слои памяти. Код агента: https://github.com/syabro/reminder-agent Эта задачка попадаться больше не будет. Будем выбирать других агентов и постепенно их усложнять. ——— А еще у Макса есть канал https://t.me/syabro_notes, не ссым и залетаем

☝🏻☝🏻☝🏻 Макс хостил один из хабов в Москве, и теперь ребята устраивают трансляцию по разбору решений. А еще у Макса прикольный канал про AI с уклоном в кибербез, но это все для слабых духом, правильные ребята работают с LLM на доверии и --dangerously-skip-permissions

False Positive Community: обзор BitGN PAC1 22 апреля, 18:30 – 20:00 (GMT+3) Всем привет! Соберемся, обсудим прошедшее соревнование BitGN PAC1, задачи и решения участников нашего хаба False Postitive! Разберем: - PAC1 - что это за соревнование? - При чем тут фишинг и промпт-инъекции - TOP-20 решение общего рейтинга - и TOP-4 решения хаба False Positive - Что докрутили на late-submission и впечатления от соревы Ссылка для подключения: https://ptsecurity.ktalk.ru/u9cft2ptphoo Календарный файл в комментах 🔽

☝🏻☝🏻☝🏻 Мега круто! Мне казалось, должен победить агент с кастомными тулами, оборачивающими пачки однотипных но сложных действий, плюс с большим количеством скиллов, внутри которых лежат эти тулзы - чтобы сэкономить контекст. А в итоге можно было просто дать агенту писать код)) @i_november - лучший!

Анализ кода агента с первым местом в слепом прогоне BitGN PAC1 Итак, Operation Pangolin получил первое место в слепом прогоне в Accuracy Leaderboard (поделил его с codex-on-rails) Что у него под капотом? Это не столько чат-бот агент, сколько компактный программируемый аналитик со строгим чеклистом и REPL циклом. Ядро написано на TypeScript. Там вызывается Anthropic Claude (для отладки - Sonnet, для соревнования - Opus). Причем у LLM-ки есть не куча инструментов, а только один - execute_code. То есть LLM-ка генерирует код на Python, который получает доступ к инструментам рантайма через класс Workspace, а еще памяти (scratchpad) и словарику с переменными. Результаты работы передаются обратно в Claude. Повторяем, пока код в итоге не выдаст ответ через ws.answer(scratchpad, verify), который успешно пройдет встроенную верификацию. Решение работает очень хорошо, используя сильные стороны Claude по интерактивному анализу и написанию кода, подкрепленные заложенным заранее списком правил в чеклиста. Слабые места решения (классы задач, на которых архитектура ломалась) - это: - спрятанные в документах вредоносные инструкции, например t011 - удаление пачки файлов - t006 - кейсы, когда мы описываем сущности и проекты (и нужна LLM-ка, чтобы их найти) - t025, t051 - работа с датами, например t012, t037 Но при всем при этом, решение заняло первое место и показало результат лучше более сложных систем. Чтобы повторить в своем решении: - упрощаем число инструментов - даем агенту возможность писать код - даем возможность сохранять память и результаты работы - Прописываем четкие чеклисты и процесс валидации Автор Operation Pangolin - @i_november! Поздравляю с первым местом в соревновательной части BitGN PAC1! Решение заняло первое место в Accuracy Leaderboard (87 очков, поделили с codex-on-rails) и с первым местов в Ultimate Leaderboard (92 очка). Исходники - в GitHub. Задавать вопросы автору можно прямо в комментариях к посту. Туда же я скину график, который сравнивает поведение этого агента с запусками всех других агентов в соревновательном прогоне. Кто помнит хроники спасения проекта с LLM под капотом? Там использовалась схожая архитектура, где LLM генерила кучу кода, который и выполнял всю работу с выдающейся точностью. Ваш, @llm_under_hood 🤗

☝🏻☝🏻☝🏻 Один из неочевидных плюсов канала, иногда в личку пишут разные интересные люди и что-то предлагают. Вчера, например, написал Саша @Alexander_V_C и предложил поделиться новостями про челленджи, которые ребята устраивают вместе с физтехом. Движ прикольный, инициатива понравилась (ML/соревнования/математика), так что делюсь. Не про агентов, ну и ладно - немного сейчас такого. Ну а что, немного позадротить с клод кодом в решении оптимизационной задачи и забрать 10к - хоть месяц подписки на антропик отобъете)) ——— Раньше умел собирать кубик за полторы минуты, но в более задротские категории типа 30 секунд так и не дошел. Но все равно - когда собираешь, чувствуешь себя самым умным в вагоне метро

🚀 Серия соревнований по МЛ и научный проект ! Денежный призовой фонд больше 100 000 р и будет расти ! Кому интересен МЛ/RL или математика или пазлы или роботы. Приглашаем Вас принять участие в серии челленджей и развитии научного опен-соурс проекта. Соревнование организуется совместно с учеными лаборатории интеллектуальных технологий робототехники МФТИ, (руководит проектом - Илья Осокин), которые поставили себе амбициозную цель создать робота, который побьет мировой рекорд по сборке Мегаминкса ! Узнать больше о робототехнической части проекта Вы можете в сообщении https://t.me/forodirchNEWS/3165 , хабре или в чате @starkitmega. Проект CayleyPy предлагает Вам принять участие в решении алгоритмической части задачи - создании алгоритмов - которые смогут получать наиболее короткие (близкие к оптимальным ) решения. Методы решения важны в широком круге проблем от математики до квантовых компьютеров, МЛ/РЛ и теории струн. Для этого мы организовали соревнования на платформе Каггл. Первый разыгрываемый приз - 10 000 рублей. Условия первого этапа очень простые. Есть три челленджа на Каггле Мегаминкс https://www.kaggle.com/competitions/cayley-py-megaminx/leaderboard Кубик Рубика 333 https://www.kaggle.com/competitions/cayleypy-ihes-cube Кубик Рубика 444 https://www.kaggle.com/competitions/cayley-py-444-cube Приз будет получен первым, кто достигнет ЛЮБУЮ из целей: 1 Или в конкурсе Мегаминкс - кто достигает скор 80 000 - и опубликует публичное решение 2 Или обогнать Томаса Рокицкого в конкурсах по кубику 333 или 444 (любом из них) и тоже опубликовать публичное решение. (Томас Рокицкий - легендарный специалист по вычислительным аспектам головоломок - именно его команда нашла "число Бога" кубика Рубика в 2010 году - подведя итог более 30 годам усилий большого количества специалистов). Подробное описание соревнований -- по ссылкам выше. Кратко: даны 1000 состояний пазлов и Вам надо предъявить их решения -- чем короче решение тем лучше (то есть чем меньше шагов/"мувов"). Score на лидерборде = сумма длин решений по всем пазлам. Соревнования полностью аналогичны соревнованию Каггл Санта 2023 -- можно навайбкодить изменения лучших решений оттуда. Также стоит взять наш подход CayleyPy и изменить в нем образующие на мегаминкс. Это сделали те, кто сейчас в топе. Дополнительную информацию, обсуждение и советы - см. чаты - @starkitmega @sberlogacompete @sberlogasci. Вводные лекции: четверг 19.00, пятница 20.00 (время по Москве). Дополнительным призом будет возможное участие в научных публикациях. Наши цели амбициозны - мы уже добились исключительных результатов, которые имеют приложение в МЛ, математике, теории струн, квантовых вычислениях и т.д. Публикации отмечены NIPS spotlight. Узнать больше Вы можете в наших статьях. Если у Вас есть несколько свободных часов в неделю, знание Питона или математики и Вам интересно принять участие - пишите @alexander_v_c - мы рады всем - начинающим и профи. Планируется серия челленджей и призов. Когда первый приз будет разыгран - мы объявим о втором этапе. ================ А также мы ищем Cпоносоров. Вы можете поддержать нас переведя на карту Илье Осокину 2202208362030505 Или напишите @alexander_v_c (Александр Червов) И кидайте нам, пожалуйста, звезды на гитхаб, Вы нам очень поможите: https://github.com/cayleypy/cayleypy ================ Выражаем благодарность компании RYBE - толстовки для айтишников: https://rybe.store https://t.me/rybe_store ================ Выражаем благодарность агентству BLASTIM за поддержку: ❤️ Наши курсы: agency.blastim.ru 🥨 Свежие вакансии в биотехе: blastim.ru 🤝 https://t.me/blastim

☝🏻☝🏻☝🏻 Так так многоуважаемые вайбкодеры, планируется еще один интересный практический стрим, про агентов, да еще и на https://mastra.ai/ Костя и Рефат проводят его вместе, НАДО ИДТИ 👊🏻

Вообще, мне дважды советовали попробовать Mastra. И оба раза это делал Рефат. Указывая в списке "советую" также Agno (писал про него тут). Собственно, выбирая между TS и Python, я выбирал последний, раз за разом игнорируя Mastra. Добрался до него только после того, как на одном из созвонов Рефат показал интерфейс и чуть глубже рассказал про особенности фреймворка. К чему веду? Этот пост – анонс субботнего практического стрима. Который мы будем проводить вместе с Рефатом. Тема стрима: "Создание AI-агентов с помощью фреймворка Mastra" Дата и время проведения: суббота, 17 апреля, 14:00 (GMT+3) Место проведения: YouTube-канал Кстати, прочитайте крутой пост Рефата про Mastra, а также пост про то, как они с создателем Mastra развитие фреймворка обсуждали. p.s.: можете накидывать идеи кейсов (с AI-агентами) для стрима в комментарии. Без внимания они не останутся 😊

И в завершение вечера ко мне приехала любимая жена Лина, проверить действительно ли я хаб организую 🥰 Она чудесный психолог, есть канал: @AngelinaOstrikova Друзья, у кого беда с башкой или начинает посвистывать фляга - милости просим на сессию. Бессонница из-за лимитов клода, панические атаки при виде травы (которую уже год не трогали) - теперь вы знаете куда писать! Ну а на этом мы заканчиваем трансляцию и увидимся в новых сериях. Всех обнял ❤️

Первое место в нашем хабе - Сева Машинсон из Яндекс Карт 🌚 @xtxtxtxtxt - лучший 🔥🔥🔥 Борьба у нас была жесткая, и Сева вырвал первое со счетом 89.6/104 у остальных титанов, которые шли ноздря в ноздрю!

Москва закрыла соревнование!!! Ждем результатов 👻

Чисто на вайбе 🥰

Ребят вызывайте ментов, @the_ai_architect подкрался из-за угла ☠️

+6

Дождались! BitGN PAC1 is live 🚀 Хостим один из хабов, собрались с утра, покушали, музыку послушали, немного поскучали, потом была лекция про будущую AI-трансформацию компаний, а сейчас все ребятки и девчонки сидят и решают задачки) Верим что победитель будет в нашем хабе! Ждем окончания, друзья вперед! 🏎🏃‍♂️‍➡️👊🏻 @llm_under_hood Ринат - спасибо! ❤️