SeamlessM4T переводит речь и дублирует на другой язык

Генеративные модели и алгоритмы в целом искусственный интеллект они все чаще берут на себя львиную долю управления голосовым вводом и перевода в реальном времени с одного языка на другой. БесшовныйM4T — это проект Meta, представленный как первая многоязычная и мультимодальная модель перевода и транскрипции с использованием искусственного интеллекта. Это позволяет вам легко общаться с помощью речи и текста на разных языках.

Построить универсальный переводчикпохожий на Вавилонская рыба фигурирует в юмористическом научно-фантастическом романе «Автостопом по Галактике«, является поистине огромной проблемой, поскольку существующие системы голосовой перевод е голос в текст они охватывают лишь небольшую часть языков, на которых говорят в мире. Однако SeamlessM4T — это огромный шаг вперед, поскольку он уменьшает количество ошибок и задержек, увеличиваяэффективность и качество процесса перевода. Это позволяет людям, говорящим на разных языках, коммуникация гораздо больше эффективный.

Потому что SeamlessM4T мультимодален

В случае с SeamlessM4T мы говорим об опыте мультимодальный поскольку модель не ограничивается одним режимом связи, например текстом или голосом, но способна интегрированно обрабатывать различные режимы ввода и вывода. Другими словами, SeamlessM4T позволяет переводить и расшифровывать не только текст, но и речь в различные форматы. комбинации е разные языки.

Эта мультимодальная особенность актуальна, поскольку отражает то, как люди общаются в реальной жизни, используя как речь, так и текст в разных ситуациях. Подумайте, например, о тех ситуациях, в которых необходимо перевести речь на иностранном языке, превратив его в письменный текст, чтобы поделиться им с кем-то, кто не говорит или не понимает тот же язык. Опять же, подумайте о случаях, когда вы хотели бы перевести текст, написанный на незнакомом вам языке, автоматически выполнив дубляж помочь тому, кто не умеет читать.

Таким образом, мультимодальный опыт SeamlessM4T позволяет пользователям выбирать способ связи лучше всего подходит для их нужд и позволяет без труда переводить или расшифровывать тексты и речь. Это помогает создать более плавное и естественное общение между людьми, говорящими на разных языках, устраняя языковые барьеры через различные каналы связи.

Что дубляж

Иль дубляж это практика, используемая в индустрии развлечений, особенно в кино и на телевидении, при которой оригинальные голоса актеров или персонажей заменяются голосами, переведенными или дублированными на другой язык. Этот процесс позволяет аудитории говорить другой язык из оригинального фильма или сериала, чтобы понять содержание без необходимости читать субтитры.

Актеры озвучивания повторно редактируют и перекрывать их голоса к оригинальным диалогам, стараясь синхронизировать их с движениями губ и интонацией актеров, чтобы сделать впечатление от просмотра максимально реалистичным.

Здесь SeamlessM4T предоставляет возможность дубляжа всем пользователям, распознавая оригинальную речь, интонацию и нюансы голоса. создать аудио на другом языке это максимально приближено к стартовой версии.

Как выглядит SeamlessM4T

SeamlessM4T поддерживает Распознавание голоса речь почти на 100 языках, перевод речи в текст почти для 100 языков ввода и вывода, перевод речи в речь, поддерживающий почти 100 языков ввода и 36 языков вывода.

Платформа, представленная Meta, также предлагает возможность перевода текста в текст почти на 100 языков; также предусмотрен перевод текста в речь, поддерживающий почти 100 языков язык ввода и 35 языков вывода.

На данный момент, как Meta уже делает для других проектов, лицензия с которым распространяется SeamlessM4T, позволяет это реализация исследовательских инициатив. К сожалению, использование для не разрешено коммерческие цели. Идея компании Марка Цукерберга — облегчить работу исследователи и Разработчики что они могут использовать SeamlessM4T в качестве основы для создания своих проектов.

Метаинженеры также опубликовали и обнародовали метаданные БесшовноеВыравнивание, самый большой открытый мультимодальный набор данных перевода, известный на сегодняшний день: он содержит 270 000 часов речи и текстов, извлеченных из тех же выступлений, что является бесценной основой для реализации производных проектов. Например, дляобучение искусственного интеллекта.

Как перевести с помощью SeamlessM4T, не устанавливая ничего локально

Чтобы воочию увидеть результаты, которых можно достичь с помощью SeamlessM4T, просто запустите приложение из веб-браузера. Демонстрация бесшовного перевода сообщений. Для продолжения необходимо сначала нажать на кнопку Начать демонстрацию затем отметьте галочкой «Я прочитал и согласен соблюдать Условия использования Seamless.«.

Одним щелчком мыши ваш Начать записьпоэтому вы должны разрешить применение метаобъявления доступ к микрофону используемого устройства.

Следующим шагом является выбор языка: затем нажмите Переводитьпосле нескольких секунд ожидания вы получите оба перевод текста что файл аудио результат операции перезаписи.

В верхней части страницы SeamlessM4T сначала отображает текст, сгенерированный с помощью мотор речь в текст начиная с речи, полученной через микрофон. С другой стороны, следующие две рамки предлагают перевод текста и звуковая дорожка, созданная на другом языке (перевод речи).

Как скачать аудиоперевод

Учитывая, что Meta не позволяет использовать информацию, сгенерированную с помощью SeamlessM4T, в коммерческих целях и что любое использование данных должно строго соответствовать условиям обслуживания, возможно скачать аудиоперевод с помощью простого трюка. Давайте посмотрим, как это сделать с помощью Google Chrome.

После создания перевода вы можете нажать комбинацию клавиш CTRL+SHIFT+I, чтобы открыть Инструменты разработчика из Хрома. Здесь вам нужно выбрать карту Сеть и, наконец, нажмите на кнопку “Играть” в коробке Перевод речи ди БесшовныйM4T.

В качестве последней записи во вкладке Сеть, появится ссылка, начинающаяся со строки blob:. Вам нужно нажать на него правой кнопкой мыши и выбрать Открыть в новой вкладке.

Chrome показывает аудиоплеер довольно по-спартански: нажав на три точки, затем на Скачатьможет храниться локально в WAV-формат перевод, созданный с помощью приложения Meta.

Как установить и использовать SeamlessM4T в ваших системах

Пер установить SeamlessM4T в системе внутри вашей инфраструктуры или в облаке вы должны сначала убедиться, что Питон е точка установлены правильно. В окне терминала вам нужно перейти в папку, в которую вы загрузили файл. Код бесшовногоM4T. Здесь необходимо ввести следующую команду для установки SeamlessM4T и его пристрастия:

установка пипа.

Если бы вы находились в среде Кондабиблиотека также должна быть установлена libsndfile с помощью следующей команды:

conda install -y -c conda-forge libsndfile

Библиотеки, использованные в проекте

Важно помнить, что SeamlessM4T основывает свою работу на трех книжные магазины разработано Мета:

• Farseq2: это библиотека моделирования последовательностей с открытым исходным кодом, которая предоставляет компоненты для машинного перевода, языкового моделирования и других задач создания последовательностей. В данный момент Farseq2 он поддерживается только в Linux и macOS.
• СОНАР е БЛАЗЕР 2.0: SONAR позволяет управлять многоязычными предложениями с помощью мультимодального подхода. Он также предлагает кодировщик текста и речи для многих языков. BLASER 2.0 — это метрика оценки мультимодального перевода.
• забои: это библиотека интеллектуального анализа данных, используемая для обучения моделей перевода, в том числе для перевода речи.

Примеры использования SeamlessM4T

Чтобы начать действие S2ST (речь в речь) из командной строки просто введите следующую команду:

m4t_predict s2st –output_path

Чтобы выполнить действие T2TT (текст в текст) вместо этого вы можете использовать следующий оператор:

m4t_predict <входной_текст> t2tt <целевой_язык> –src_lang <исходный_язык>

Справка, содержащаяся в файле README, содержит подробные инструкции по выполнению других операций. вывод использование искусственного интеллекта SeamlessM4T.