🚀 SoftMatcha 2 - инструмент от Sakana, который проверяет, не “подглядывала” ли модель ответы Одна из главных проблем в обучении LLM - загрязнение бенчмарков. Модель показывает отличные результаты… но иногда просто потому, что похожие задачи уже были в обучающих данных. Проверить это сложно. Обычный поиск по точным совпадениям не работает - формулировки могут отличаться, слова меняться, а смысл оставаться тем же. SoftMatcha 2 новое решение от Sakana. Что делает инструмент: - Ищет совпадения в корпусах размером до триллионов токенов - Работает менее чем за 0.3 секунды - Находит не только точные копии, но и похожие по смыслу фрагменты (замены слов, вставки, удаления) - Помогает обнаружить утечки тестовых данных в обучении Почему это важно: Если модель уже видела похожие задачи: - метрики становятся завышенными - сравнение моделей теряет смысл - “прорыв” может оказаться просто хорошей памятью SoftMatcha 2 позволяет: - проверять чистоту датасетов - находить скрытые пересечения - честно оценивать качество моделей Как это работает: - Быстрый поиск на основе suffix arrays - Disk-aware архитектура - эффективная работа даже с огромными данными - Интеллектуальное pruning, чтобы избежать перебора миллионов вариантов Можно протестировать онлайн на корпусе 100B токенов или развернуть у себя для триллионных масштабов. Demo: http://softmatcha-2.s3-website-ap-northeast-1.amazonaws.com Paper: https://arxiv.org/abs/2602.10908 Code: https://github.com/softmatcha/softmatcha2 Сегодня важен не только размер модели. Главный вопрос - учится ли она думать, или просто запомнила ответы.