🚀 Tencent мощно заходит в тему context learning. Вышел open-source бенчмарк CL-bench - и это не просто очередной датасет, а попытка сдвинуть фокус всей индустрии. Tencent HY совместно с Fudan University выпустили новую работу: “CL-bench: A Benchmark for Context Learning” - системный бенчмарк для оценки того, *насколько модели реально умеют думать в контексте*, а не просто вспоминать выученное. Это первый ресерч-релиз команды Vinces Yao после его перехода в Tencent - и по амбициям видно, что ребята метят в фундаментальные изменения. Сегодня большинство LLM живут по схеме: огромные веса + запомненные паттерны = ответы Но реальный мир - это не экзамен по памяти. Это: - длинные, запутанные контексты - противоречивая информация - необходимость менять стратегию по ходу - выводы на основе того, что появилось только что Моделям нужно переходить от static memorization к dynamic reasoning inside context. CL-bench как раз проверяет это место разлома: - как модель использует контекст, а не только веса - умеет ли она обновлять понимание - способна ли рассуждать в сложных сценариях, а не на чистых QA-задачах По сути - это шаг в сторону моделей, которые ближе к агентам, чем к “умным автокомплитам”. Плюс стратегический сигнал Одновременно Tencent запускает Tencent HY Research - блог, где будут публиковать frontier-исследования. Это выглядит как заявка: “Мы не просто треним большие модели. Мы хотим влиять на то, как их вообще оценивают.” А это уже уровень влияния на направление всей области. CL-bench - это не про +0.5% на лидерборде. Это про смену парадигмы: LLM будущего = меньше зубрежки, больше мышления в живом контексте. И если эта линия выстрелит - именно такие бенчмарки будут решать, кто реально сделал “умную” модель, а кто просто раздул параметры. 🌐 Project Page: http://clbench.com 📖 Blog: https://hy.tencent.com/research