💜 Мы хотели сделать Text2SQL для использования внутри компании для 5000+ пользователей. Нужен инструмент, который понимает внутренний язык бизнеса, не врёт, не придумывает данные и не ломается через три запроса. Выяснилось, что LLM в этой системе — не самая сложная часть. В Хабр-статье разбираем, из чего на самом деле состоит рабочий Text2SQL: 🟣Почему промпты разрастаются до десятков тысяч токенов и как ужимать их без потери качества. 🟣Зачем нужны перефразирование, уточняющие вопросы, поиск реальных значений в данных и фильтрация колонок. 🟣Почему рост модели с 8B до 72B почти не влияет на результат, а архитектура пайплайна влияет. 🟣Откуда берутся реальные +5–7% качества. 🔗 Ссылка на статью