Эта модель была опубликована в HF papers 24.06.2020 и добавлена в Hugging Face Transformers 20.06.2023.

XLSR-Wav2Vec2

Обзор

Модель XLSR-Wav2Vec2 была предложена в работе Unsupervised Cross-Lingual Representation Learning For Speech Recognition Алексисом Конно, Алексеем Баевским, Ронаном Коллобером, Абдельрахманом Мохамедом и Майклом Аули.

Аннотация из статьи следующая:

В данной статье представлен XLSR, который обучает кросс-лингвальные речевые представления путем предварительного обучения единой модели на основе сырых волновых форм речи на нескольких языках. Мы опираемся на wav2vec 2.0, который обучается путем решения контрастной задачи над замаскированными латентными речевыми представлениями и совместно обучает квантование латентных переменных, общее для всех языков. Полученная модель дообучается на размеченных данных, а эксперименты показывают, что кросс-лингвальное предварительное обучение значительно превосходит монолингвальное. На бенчмарке CommonVoice XLSR демонстрирует относительное снижение показателя ошибки распознавания фонем на 72% по сравнению с лучшими известными результатами. На BABEL наш подход улучшает показатель ошибки распознавания слов на 16% в относительном выражении по сравнению с сопоставимой системой. Наш подход позволяет создать единую многоязычную модель распознавания речи, которая конкурентоспособна с сильными отдельными моделями. Анализ показывает, что латентные дискретные речевые представления общие для разных языков, при этом степень их общего использования выше для родственных языков. Мы надеемся стимулировать исследования в области понимания речи с малым объемом данных, публикуя XLSR-53 — крупную модель, предварительно обученную на 53 языках.

Исходный код можно найти здесь.

Примечание: Meta (FAIR) выпустила новую версию Wav2Vec2-BERT 2.0 — она обучена на 4,5 млн часов аудио. Мы особенно рекомендуем использовать её для задач дообучения, например, согласно этому руководству.

Советы по использованию

• XLSR-Wav2Vec2 — это модель для обработки речи, которая принимает массив float, соответствующий исходной волновой форме речевого сигнала.
• Модель XLSR-Wav2Vec2 обучалась с использованием связного временного классификационного метода (CTC), поэтому её вывод необходимо декодировать с помощью Wav2Vec2CTCTokenizer.

Архитектура XLSR-Wav2Vec2 основана на модели Wav2Vec2, поэтому можно обратиться к странице документации Wav2Vec2.