AI Product | Igor Akimov

Не доверяем LLM-ке как классификатору Хорошая статья про типичный сценарий LLM, который работает так себе. Делаем что-то типичное: нужно сортировать обращения, письма, отзывы. Пишем промпт «это жалоба или нет?», модель отвечает «да/нет», запускаем в работу. Вроде получается неплохо – и на этом все останавливаются. Ну максимум есть "золотой сет" из 10-50 отзывов. Но потом что-то начинает сбоить и непонятно, куда бежать. В чем проблема: – модель не умеет честно сказать, насколько она уверена. Попросите ее оценить уверенность в процентах – получите красивую цифру, не связанную с реальностью. А значит, нельзя настроить строгость: «лучше пропустим пару жалоб, но не будем дергать людей зря» или наоборот – модель не знает вашей реальности. У вас жалоб 1% от потока или половина? Для правильного решения это важно, а она судит «в среднем по интернету» – если качество не устраивает, остается один инструмент – переписывать промпт и надеяться Идея автора: не давать модели выносить приговор. Пусть она будет свидетелем, который отвечает на простые вопросы, а решение принимает маленькая старая добрая статистическая модель, обученная на ваших примерах. Автор проверил на задаче «найди иронию в твитах». Вместо одного вопроса «это ирония?» задал модели 19 простых: автор хвалит что-то явно плохое? тон не совпадает с ситуацией? это риторический вопрос? наигранный восторг? про политику или про быт? Плюс добавил совсем тупые признаки: длина текста, число восклицательных знаков, капс, эмодзи. Дальше простая формула на нескольких тысячах размеченных примеров учится, каким ответам сколько веса давать. Что вышло: – точность выросла с 0.747 до 0.779 (победитель научного соревнования 2018 года – 0.705, лучшая специально спроектированная нейросеть – 0.786) – оценки уверенности из бесполезных стали рабочими: ошибка в вероятностях упала вдвое. У голой LLM она была на уровне подбрасывания монетки – видно, какие признаки реально влияют на решение – его можно объяснить бизнесу и аудитору – и все это на самой дешевой модели (gemini flash-lite), без дообучения Цена вопроса – нужны размеченные примеры. Но автор справедливо замечает: они вам и так нужны, чтобы проверить, что система вообще работает. Вы же собирались проверять, правда? Короче, все время скоро будет уходить чисто на данные и датасеты, остальное ИИ-ка будет сама делать. И так как это мало кто делает нормально - спецы еще будут нужны 100% https://minimallysufficient.com/posts/llm-classification-is-feature-extraction/