이 모델은 2020-06-24에 HF papers에 게시되었으며, 2023-06-20에 Hugging Face Transformers에 기여되었습니다.

XLSR-Wav2Vec2

개요

XLSR-Wav2Vec2 모델은 Alexis Conneau, Alexei Baevski, Ronan Collobert, Abdelrahman Mohamed, Michael Auli가 Unsupervised Cross-Lingual Representation Learning For Speech Recognition에서 제안했습니다.

해당 논문의 초록은 다음과 같습니다:

본 논문은 여러 언어의 음성에서 원시 웨이브폼을 사용하여 단일 모델을 사전 학습하여 언어 간 음성 표현을 학습하는 XLSR을 제시합니다. 본 연구는 마스킹된 잠재 음성 표현에 대한 대비 작업을 해결하여 학습되는 wav2vec 2.0을 기반으로 하며, 언어 간 공유되는 잠재 변수의 양자화를 함께 학습합니다. 생성된 모델은 라벨이 있는 데이터로 미세 조정되며, 실험 결과 언어 간 사전 학습이 단일 언어 사전 학습보다 현저히 우수한 성능을 보임을 확인했습니다. CommonVoice 벤치마크에서 XLSR은 기존 최고 결과 대비 72%의 상대적 음소 오류율 감소를 보여주었습니다. BABEL에서는 유사한 시스템 대비 16%의 상대적 단어 오류율 개선을 달성했습니다. 본 접근법은 강력한 개별 모델과 경쟁할 수 있는 단일 다국어 음성 인식 모델을 가능하게 합니다. 분석 결과, 잠재 이산 음성 표현은 언어 간 공유되며, 관련 언어일수록 공유 정도가 높아지는 것으로 나타났습니다. 53개 언어로 사전 학습된 대형 모델인 XLSR-53을 공개함으로써 저자원 음성 이해 연구의 촉매제가 되기를 바랍니다.

원본 코드는 여기에서 찾을 수 있습니다.

참고: Meta(FAIR)는 Wav2Vec2-BERT 2.0의 새로운 버전을 출시했습니다. 450만 시간의 오디오로 사전 학습되었습니다. 이 가이드와 같은 fine-tuning 작업에 사용하시는 것을 특히 권장합니다.

사용 팁

• XLSR-Wav2Vec2는 음성 신호의 원시 파형에 해당하는 float 배열을 입력으로 받는 음성 모델입니다.
• XLSR-Wav2Vec2 모델은 connectionist temporal classification(CTC)을 사용하여 학습되었으므로, 모델 출력은 Wav2Vec2CTCTokenizer를 사용하여 디코딩해야 합니다.

XLSR-Wav2Vec2의 아키텍처는 Wav2Vec2 모델에 기반하므로 Wav2Vec2 문서 페이지를 참고할 수 있습니다.