ИИ без порядка во внутренних данных — усилия на ветер На Хабре вышел разбор команды ВТБ о том, как они учили ИИ автоматически классифицировать обращения корпоративных клиентов. Нейросети дали, казалось бы, простую задачу. Она должна была определить, о каком продукте пишет человек и какой у него вопрос. ▶️Модель должна была работать сразу с 93 типами обращений. Классификацию разделили на три уровня: продукт, вопрос и суть обращения. После внедрения AI-агента F1-score составил 77%, 60% и 40% соответственно. Для автоматизации клиентского сервиса это слабый результат. ▶️Разработчики научили ИИ говорить «я не знаю». Если модель почти одинаково оценивала несколько вариантов, обращение отправлялось в специальную категорию «неизвестное». Для настройки этого порога использовали отдельную выборку, которая составляла около 10-15% валидационных данных. ▶️Проблему нашли в самих данных — ошибки сотрудников, массовые сбои и слишком похожие категории создавали ситуации, когда даже живой специалист с полным контекстом обращения не мог однозначно определить правильный класс. ▶️После очистки данных и дополнительной проверки со стороны сотрудников ЦКП все итоговые метрики удалось поднять выше 90%. ИИ способен четко классифицировать обращения клиентов, только если бизнес сможет привести в порядок собственные данные и разработать понятные правила работы AI-агента. Иначе люди в большинстве так и не захотят общаться с умными помощниками. 📄 Дело в цифрах в Telegram | в MAX