Анализ данных (Data analysis)

✔️ Рассуждающие агенты требуют не только ума, но и железа Когда провайдеры запускают «агентов», пользователи видят красивый интерфейс. Инженеры видят ад. Потому что агентские сценарии — это не «запрос-ответ». Это: - длинные диалоги с историей - вызов внешних инструментов (поиск, интерпретация кода, внешние приложения) - гигабайты промежуточных данных между шагами Если просто «поднять контейнер на GPU» — TTFT (время до первого токена) поплывёт, TBT (время между токенами) просядет, и агент будет тормозить на ровном месте. Что с этим делают Yandex AI Studio, например, на днях запустила инференс DeepSeek V3.2 и при этом полностью пересобрала инфраструктуру. Внедрили разделение prefill/decode: - prefill-ноды — быстрый прогон длинных контекстов - decode-ноды — стабильная генерация с низкой задержкой Это потребовало научиться передавать KV-кэши между серверами в реальном времени. Помимо прочего сбалансировали запросы с учётом «сессионности» и выстроить иерархию KV-кэшей от HBM GPU до распределённой памяти и/или NVMe. Безопасность и тарификация - Управляемые правила модерации ответов модели - Доступ к моделям через частные эндпоинты по выделенному сетевому каналу для работы без выхода в публичный интернет Новая тарификация: - токены инструментов и кэширования — в 4 раза дешевле обычных входящих - чем длиннее сессия, тем выгоднее Потому что платить стоит не за факт обращения к модели, а за новую вычисленную информацию. Всё остальное можно и нужно кэшировать.