TechLead Stream | Иван Поддубный

Распространенные эффекты у LLM с контекстом: «Lost in the middle» — это эффект позиционного смещения в LLM: модели хуже извлекают и используют информацию, расположенную в середине длинного контекста, демонстрируя U‑образную зависимость качества от позиции фактов (лучше в начале и в конце, хуже в середине). Больше проявляется при наполнении до 50% от объема контекста. Практические рекомендации: — Размещать ключевые инструкции и факты в начале или в конце промпта; дублировать критичные детали ближе к концу. «Lost in the distance» — это эффект, при котором LLM хуже извлекает и связывает факты, если релевантные куски контекста находятся далеко друг от друга, даже если каждый по отдельности хорошо виден модели. Практические рекомендации: — Старайтесь группировать взаимосвязанные факты ближе друг к другу в одном чанке или соседних чанках, минимизируя вставки нерелевантного текста между ними. — Разбивайте сложные запросы на подзадачи, каждая из которых опирается на компактный локальный контекст, а «слияние» результатов делайте поэтапно, уменьшая требуемую дальнюю зависимость в одном проходе. Эффекты стоит изучать применительно к каждой модели. С первым в 2025 старались в некоторых реализациях бороться.