🔬 Search или extract? Новое исследование о памяти ИИ-агентов и decision models. В сообществе разработчиков ИИ-агентов давно спорят: что лучше для долговременной памяти - извлекать факты из диалога с помощью LLM или просто хранить и искать нужные сырые реплики? Новый препринт даёт логичный ответ - выбор зависит от бюджета на контекст. Со своей стороны изначально знал, что трек RAG и память в нашей работе пересечется (и так оно у нас и вышло). Мы вели разработку как extract методов подобно mem0, так и memory RAG с поиском по заметкам или сырым диалогам. Закономерно, что jev like модель, как развитие поиска (в лице выбора и ранжирования) станет хорошим дополнением для темы памяти. Но вернёмся к статье... 📊 Суть эксперимента Авторы сравнили подходы на диалоговых бенчмарках LoCoMo и LongMemEval: • Turns + Jev - выбираем лучшие сырые реплики за один вызов Jev. • engram v2 - система извлечения фактов, где LLM извлекает факты, Jev управляет ими (ранжирует/выбирает). •Turns + cosine (базовое ранжирование). •Turns + LLM. LLM-ранжировщик gpt4o тут mini, как сабагент для поиска по сырым данным. 🎯 Результаты 1. При строгом бюджете контекста сырые реплики не уступают извлечённым фактам: разница всего 0.5 пункта (77.0% против 77.5%) при чтении контекста в 265 против 251 токена. Это укладывается в заранее установленный зазор метрик в 5 пунктов. 2. Экономия на поиск сырых реплик - решение обходится в 3к (!!!) раз дешевле, чем извлечение фактов ($0.00061 против $1.865 за 1000 реплик). 3. Однако, польза от ранжирования резко падает с ростом бюджета. Если при выборе 3 из 30 кандидатов ранжирование даёт +17.4 пункта на LoCoMo, то при 20 кандидатах - всего +1.5. На LongMemEval: +9.1 и +1.1 соответственно. 4. При большом бюджете системы извлечения а-ля. Engram становятся точнее (82.4% против ~77.6% у Turns + Jev). 5. Jev против cosine ранжирования. Косинусный поиск на своём оптимальном k=6 даёт точность 68.6%, в то время как Turns + Jev — 77.0%. Выводы. При жёстких ограничениях (короткий контекст до 512 токенов) качественное ранжирование сырых реплик может заменить извлечение фактов, будучи на порядки дешевле. При больших бюджетах преимущество переходит к extract моделям. Отмечу, что Jev-селектор оказался не хуже LLM-ранжировщика (разница 0.4 пункта), но работал втрое быстрее. И это неплохое развитие rag memory систем дёшево и сердито. 😏