🤖 Нейросети обходятся дороже пользователям, не говорящим на английском Выяснилось, что использование ИИ-моделей финансово и технически ущемляет пользователей неанглийских языков. Исследователи из Coalition for Language Equity in AI Research обнаружили, что нейросети требуют гораздо больше токенов для обработки других языков, назвав это явление скрытым «налогом на токены». ▪️ Разрыв в стоимости огромен. Даже среди 20 самых популярных языков интернета самые «дорогие» требуют от 1,5 до 5 раз больше токенов, чем самые дешевые. Если взять выборку из 200 языков, разница в стоимости токенов для одной и той же задачи может достигать 17 раз. ▪️ Проблема выходит за рамки финансов. Большее количество токенов означает более медленную работу (высокую задержку) и резкое сокращение контекстного окна. ИИ оставляет меньше места для загруженных документов или истории переписки, быстрее «забывает» детали диалога, что напрямую снижает качество сервиса. ▪️ Ключевую роль играет не только редкость языка, но и его письменность. Языки на основе латиницы (например, редкий астурийский) выигрывают за счет структурного сходства с популярными европейскими языками. В то же время языки с уникальными алфавитами — бирманский, тибетский или кхмерский — стабильно оказываются в самом невыгодном положении. ▪️ Эксперты подчеркивают, что простого сбора качественных данных недостаточно. ИИ-лаборатории должны целенаправленно перепроектировать токенизаторы для работы с разными скриптами. Звучат призывы обязать разработчиков публиковать отчеты о стоимости задач для каждого языка и внедрять планы по устранению этого неравенства. Telegram🛑Канал для трансляций🛑ВКонтакте🛑Max🛑Дорогой дневник🛑Дзен