Mind News

@mindnews · news · Russian · active

Subscribers 2.6K Subscribers, last 30 days: 2.6K → 2.6K +0 24h · −10 7d
Reach per post (ERR) 0.2%5 avg views
Posting 4254.7/day last 11 minutes ago
Reactions per 1K views 0.0

ITGlobal.com развернула для Qooqa Tech GPU-инфраструктуру на Nvidia H200 Компания Qooqa Tech модернизировала вычислительную инфраструктуру для своего ИИ-рекрутера, чтобы обрабатывать растущее число обращений и использовать более крупные языковые модели. ITGlobal.com предоставила выделенный сервер с тремя ускорителями Nvidia H200 и связала его с действующей инфраструктурой заказчика. Решение уже обрабатывает более 600 тыс. запросов к языковым моделям в сутки. Об этом CNews сообщили представители ITGlobal.com. Qooqa Tech развивает ИИ-рекрутера на базе больших языковых моделей, развернутых во внутреннем контуре компании без обращения к внешним LLM API. По мере роста клиентской базы используемые ранее GPU начали ограничивать скорость инференса и возможности перехода на более крупные модели. Компании требовалось в сжатые сроки развернуть более производительную инфраструктуру и перенести на нее рабочие нагрузки. После технического тестирования Qooqa Tech выбрала ускорители Nvidia H200. Специалисты ITGlobal.com развернули выделенный сервер с тремя Nvidia H200, каждый из которых оснащен 141 ГБ видеопамяти. Два ускорителя объединили с помощью Nvidia NVLink Bridge для работы основной языковой модели примерно на 122 млрд параметров. Такое соединение обеспечивает высокоскоростной обмен данными между ускорителями, необходимый при распределении вычислений крупной модели. Третью карту выделили для вспомогательной языковой модели и модели построения векторных представлений (эмбеддингов). Разделение задач между ускорителями позволяет обслуживать несколько компонентов системы на одном сервере. Выделенный сервер интегрировали с существующей виртуальной инфраструктурой Qooqa Tech. Инженеры ITGlobal.com настроили L3-связность на базе VMware NSX и маршрутизацию между облачной и выделенной инфраструктурой. По данным Qooqa Tech, сегодня инфраструктура обеспечивает скорость генерации на уровне 5000 токенов в секунду и медианное время отклика около одной секунды. «Нам была нужна редкая для российского рынка комбинация: современные GPU Nvidia H200, размещение инфраструктуры в России, сжатые сроки запуска и интеграция с существующим облачным контуром. ITGlobal.com удалось закрыть эти требования одновременно. Сегодня наша платформа обрабатывает сотни тысяч LLM-запросов в сутки», — отметил Дмитрий Аболмасов, технический директор Qooqa Tech. «В ближайшие годы конкурентоспособность ИИ-продуктов будет во многом зависеть от того, насколько быстро компании смогут наращивать вычислительные мощности и внедрять более сложные модели. Использование модульной платформы Nvidia MGX позволяет реализовывать индивидуальные конфигурации под текущие задачи и гибко масштабировать вычислительные мощности по мере роста ИИ-продукта, обеспечивая необходимую производительность на каждом этапе», — сказал Евгений Свидерский, вице-президент по облачным сервисам ITGlobal.com, корпорация ITG. Бесплатная версия (задержка 15 мин) News.ru | 10:30:58 | @mindnews

Views over time

024611 Nov 07:4511 Nov 07:58411 Nov 07:45: 0 views11 Nov 07:58: 4 views
Snapshots we took after posting.
WhenViews
11 Nov 2026, 07:450
11 Nov 2026, 07:584

Who shared this post

Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)

Nobody yet.