AI Product | Igor Akimov

Модель на 14 МБ, которая вызывает функции Много сейчас ковыряюсь с локальными ЛЛМ-ками/библиотеками, чтобы персональные данные удалять или структурировать извлеченные данные и вот неплохой кандидат, который даже в вебе можно использовать. Needle 2 – открытая модель на 45M параметров для tool calling и извлечения структурированных данных. Именно для вызова функций и создания JSON. Цифры, ради которых стоит читать дальше: – 14 МБ бинарник, 28 МБ RAM на всю сессию, даже для всякого старья подходит – 500 ток/с на Raspberry Pi 5, 300–700 на старых телефонах – 2-битное квантование, причём модель так и обучалась – на мобильных бенчмарках идёт вровень с FunctionGemma 270M и LFM2.5 230M, будучи в 5–70 раз меньше (но по правде сказать LFM2.5 230M поумнее будет, конечно, и больше подходит для среднего компа) – Apache 2.0, веса на Hugging Face, можно даже файнтюнить под ваши задачи. Короче, у всяких локальных обработок часто не нужна мощща гигантских моделей, есть набор функций с типизированными параметрами – задача только сопоставить фразу пользователя с ними. Pebble кстати гоняет эту модель локально в приложении для своего кольца без экрана. Если у вас IoT, носимые устройства или голосовое управление чем угодно – посмотрите, порог входа смешной. https://cactuscompute.com/needle