Kantor.AI

Про перетаскивание методов из NLP в RecSys и обратно: часть 2 Далее идея матричных разложений развилась в то, что векторы можно так-то не просто втупую перемножать, а сначала каждый пропустить через несколько слоев нейронки, и так получилась двухбашенная архитектура DSSM (Deep Structured Semantic Model - название хорошо отражает идею). Модель сначала использовали для ранжирования документов под запрос, т.е. в довольно текстовой задачке, но опять же вскоре приспособили к рекомендациям, вместо вектора запроса взяв вектор пользователя, а вместо векторов документов - векторы рекоменуемых объектов. В итоге опять случился дуализм текстов и рекомендаций. Когда же word2vec стал уже не модным, потому что у нас появились эмбеддинги из Transformer-Encoder в виде кучи разных вариаций BERT, ту же идею, что была с рекомендациями на word2vec реализовали в BERT4Rec. Если BERT строил эмбеддинги, учась восстанавливать пропущенные слова, то BERT4Rec восстанавливал недостающий судя по контексту айтем. Другой вариант рекомендаций на трансформерах - SASRec, который уже предсказывал следующие айтемы по предыдущим. Сейчас мы кто во что горазд прикручиваем к рекомендациям LLM. И здесь какого-то одного общего метода, кстати, нет. Самое очевидное - также прогнозировать следующие айтемы по предыдущим, а на логи действий пользователя смотреть как на текст (просто на искусственном "языке"). Но ничто не мешает использовать LLM и для получения векторов по описаниям и отзывам, а дальше уже искать похожести плюс-минус по любой схеме. Еще один вариант (наиболее "в лоб") это просто формулировать задачу порекомендовать что-то как промты определенного формата для LLM, добавляя историю и описание вариантов в контекст. Несмотря на некоторую комичность такого подхода (ну вроде бы из пушки по воробьям стреляем), в нем можно добавить в контекст любые пожелания по рекомендациям, так что просто списывать со счетов такой подход не стоит, хоть и очевидно, что при достаточном количестве данных узкоспециализированные модели для задачи рекомендаций будут точнее. В итоге уже очень долгая история развития методов в рекомендациях идет бок о бок с развитием методов в NLP и, скорее всего, дальше это будет продолжаться. Например, если мы посмотрим на альтернативы трансформерных моделям в NLP - те же SSM, например, то сразу же легко найдем публикации про рекомендации с помощью SSM.