Нейросети могут использовать мат, чтобы сокращать тексты без потери смысла Обсценная лексика, при этом, используется как инструмент семантической компрессии. Об этом говорит свежее исследование учёных из Института AIRI, НИУ ВШЭ и Университета Иннополис, представленное на конференции AAAI в Сингапуре (А*). Эффективность метода проверяли на коротких предложениях и полноформатных новостных текстах. Идея исследования возникла при изучении фильтров для контента с разными возрастными режимами. Команда задумалась: а что, если не просто обучить ИИ вычищать грубые слова из текстов, но сделать так, чтобы нейросеть переводила текст в нейтральный регистр с минимальной потерей смысла? В процессе стало заметно, что, создавая тексты, LLM нередко используют обсценную лексику без понятной функции и вставляют в предложения мат “просто так”, тогда как в живой речи одно такое слово может заменять целое предложение и работать как сверхплотная упаковка смысла. Отсюда возник следующий шаг: ученые решили проверить, можно ли целенаправленно использовать этот эффект для сжатия текстов при сохранении основной мысли, чтобы экономить вычислительные ресурсы. Под сжатием авторы понимают не классическую суммаризацию и не побуквенную компрессию, а уменьшение длины высказывания за счёт специальных выражений с минимальной потерей семантики. Словарь соответствий между нейтральными выражениями и матом собирали из открытых источников, включая Wiktionary, и дополняли вручную. Эквивалентность трактовали как семантическую близость и сопоставимый контекст употребления относительно обучающей выборки. Эти пары использовались на этапе дообучения модели и входили в составную функцию награды. Технически рассматривались модели Qwen2.5-7B-Instruct и Llama-3.1-8B-Instruct с числом параметров до порядка 8 миллиардов. При этом Llama из-за жёстких настроек выравнивания даже после дообучения практически отказывалась генерировать обсценную лексику. В итоге исследователи сосредоточились на авторегрессионной LLM и применили RL-дообучение с составной функцией награды. В нее включили штраф за превышение целевой длины текста и поощрение за использование обсценного лексикона именно как средства компрессии. Бонус начислялся только если модель одновременно сокращала текст и сохраняла его смысл. «Рабочая модель в итоге не использует нецензурную лексику при обработке обычных текстов. Тренировка на контрастных примерах (нейтральная фраза → очень короткая эмоциональная замена) позволила ИИ тоньше улавливать суть высказываний». Илья Макаров, ведущий научный сотрудник AIRI Одной из сложностей стал тот факт, что большинство открытых датасетов содержит только отдельные фрагменты фраз или обрывки диалогов. По ним сложно понять, используется ли обсценная лексика как шутка, агрессия, эмоциональное усиление или просто «слово-паразит». В будущих работах исследователи планируют сосредоточиться на сборе более качественных и контекстно богатых данных, чтобы модель точнее различала эти случаи. У нашей редакции на эту новость есть короткое семантическое высказывание "Ох#@ть!" @anti_agi