MemPalace не дворец с мемами, но кое-что интересное есть. 🆒 Многие помнят нашумевшее решение для памяти агентов с продвижением через Милу Йовович. Инженерия действительно интересная, метрики высокие и, вроде, главный и единственный разработчик Бэн молодец. Однако, среди моих подписчиков есть знатные задроты датамайнеры, которые раскопали кое-что интересное. Воот тут в коде для работы с бенчмарком LongMemEval была выявлена хака для апа метрик бенчмарка. Вот они: 1. Прямой хардкод для работы с паттернами датасета r"when i was ((?:in )?high school|...)", r"(?:happy|fond|good|positive) (?:high school|...) (?:experience|memory|...)" Обычно подгонка под бенчмарк - это когда модель дообучают на тестовых данных. Здесь другой случай - алгоритм ретривала напрямую содержит хардкод под конкретные примеры из датасета. Это не обобщение, это whitelist'инг. 2. Подгонка под LoCoMo. Алгоритм библиотеки берет top_k=50, а LoCoMo содержит 19–32 сессий на разговор. При top_k=50 система возвращает весь корпус. Ретривал не работает - LLM просто читает все сессии и отвечает на вопрос. Это тест на reading comprehension, а не на память. 3. Стоп слова расширены под MemBench. Эти слова добавлены потому, что в вопросах MemBench они часто встречаются ("what kind of X do I prefer?", "I think Y"). Без них keyword overlap давал бы ложные срабатывания. "said", "would", "could", "should", "might", "can", "will", "shall", "kind", "type", "like", "prefer", "enjoy", "think", "feel", } В общем, это ещё не скам, но махонькое читерство. Поэтому за идею лайк, за хаки осуждаем. 👍 За инфо спасибо @andrewBezborodov