📖 Сложности перевода Ещё недавно, если вам нужно было перевести что-то с карельского языка, приходилось искать специализированные словари и отдельные сайты. Теперь всё гораздо проще: 8 сентября карельский язык появился в Яндекс Переводчике. Его можно выбрать в списке языков и переводить тексты на русский и другие языки — прямо на сайте, в приложении или через поиск. Современный машинный перевод работает примерно так: нейросеть изучает огромное количество параллельных текстов — то есть текстов, для которых существуют переводы. Условно говоря, она много раз видит карельское предложение и его русский вариант. Постепенно модель учится находить закономерности: какие слова связаны между собой, как меняется их смысл в зависимости от контекста и как выразить ту же мысль на другом языке. При этом современные системы переводят не просто набор отдельных слов, а пытаются анализировать предложение и его смысл целиком. С карельским языком главная сложность очевидна: у него просто нет такого количества цифровых текстов, как у английского или русского. Поэтому сначала эти данные пришлось буквально собирать. В основу обучения вошли художественные произведения, материалы национальных изданий, интернет-энциклопедии и специализированные языковые ресурсы. Среди них — открытый корпус вепсского и карельского языков «ВепКар», где собраны тексты, словари и даже фольклорные коллекции. В работе участвовали учёные, журналисты, учителя карельского языка и волонтёры. К моменту запуска в Яндекс передали более 86 тысяч параллельных предложений на карельском и русском языках. Ещё около 100 тысяч карельских предложений без перевода использовали для того, чтобы модель лучше понимала сам язык и его контекст. Отдельно подготовили ещё 500 предложений по специальным шаблонам сервиса. Похожая работа сейчас идёт и с вепсским языком. По данным правительства Карелии, к июню было собрано около 40 тысяч предложений для будущего цифрового корпуса. Официальный список партнёров Яндекс Переводчика уже указывает вепсский язык среди направлений, для которых разрабатываются технологии перевода, распознавания и синтеза речи. Данные для этого направления готовит Общество вепсской культуры. И здесь особенно интересен сам масштаб задачи. Чтобы язык появился в современном ИИ, его сначала нужно собрать в цифровом виде. Книги нужно оцифровать, тексты — проверить, предложения — сопоставить с переводами. То, что раньше лежало в библиотеке, архиве или существовало только в памяти носителей языка, постепенно превращается в материал, на котором может учиться нейросеть. Причём современные модели могут использовать и дополнительные методы, когда настоящих параллельных текстов слишком мало. В Яндексе, например, применяют синтетические данные: модель помогает создавать дополнительный обучающий материал, который затем используется для улучшения качества перевода. Для малоресурсных языков это особенно важно. В Карелии ходят слухи | Подписаться Наш канал в MAX | Подписаться 📲