Глеб Кудрявцев — мастер AI

Заддосили мне OCR 🙈 Сервис два часа плевался ошибками и ничего не распознавал. Разгадка оказалась проста. Когда я тестил, то у меня спокойно в карточку 24 гб влезало два экземпляра воркеров и vllm контейнеров для инференса нейронки. Короче, в параллель можно сразу две странички шатать. Так вот, оказалось, что там было очень на тоненького, и оставалось лишь 500мб места. И вот этого уже не хватило, когда туда стали одновременно слать большие картинки. А вообще, отлаживать что-то на ГПУ — то еще развлечение, скажу я вам. Особенно с китайскими моделями, у которых из работающей документации только какие-то манускрипты иероглифами, найденными в байдунете (я не прикалываюсь, ее без китайских доков вообще не запустить было). Это для тех, кто думает, что че там поднимать модельки, все просто же 🙂 Без кодекса, мне кажется, это было бы невозможно в принципе никогда. Так что нейронки тут конечно сильно повышают адопшн самих себя.