Глеб Кудрявцев — мастер AI

В твиттерах форсится новая сетка Jev https://typesafe.ai/ с феноменально дешевой и быстрой скоростью ответов. Обычно я не комментирую новости, но эта штука технически примечательная. Что сделали, если очень кратко: — Взяли нечто вроде ЛЛМ. Оставили обширные знания о мире, но отрезали возможность говорить. — Моделька общается вероятностями. На вход даешь ей текст и позиции для классификации. Например Текст инцидента клиентской поддержки - тип [бизнес/техника] - серьезность инцидента [серьезно, средне, мелкий эпизод] - необходимость включения человека [да/нет] На выход она дает пункты из классификации с вероятностями. - [бизнес 90%/техника 10%] - [серьезно 5%, средне 25% , мелкий эпизод 70%] - [да 5%/нет 95%] От стандартной схемы Structured output отличается тем, что текстовых токенов тут не присутствует в принципе. Плюсы и минусы того что получилось: — чрезвычайно быстрая модель, гигантский эффективный параллелизм — можно задавать до 256 вопросов на классификацию в одном запросе. — очень дешевая, буквально, в сотни раз дешевле ЛЛМ. — не умеет говорить Пригодится в экспертных системах — там, где ЛЛМ сейчас играют роль умной IF конструкции. Трейдинг, скоринг, исследования — везде, где нужно разносить нечто по разным классам. Эдакий универсальный классификатор, который не нужно тренировать отдельно на каждый случай. Архитектура закрытая, так что объяснение выше — по сути, не архитектурное. Архитектурное будет когда зарелизят статьи. Но это определенно что-то свежее в ИИ ландшафте.