Sevain/asr-wav2vec2-LB7K-spontaneous-fr

Wav2Vec 2.0 avec CTC adapté sur de la parole spontanée en français

• —Système développé dans le cadre des travaux de thèse de Solène Evain: https://theses.fr/2024GRALM037
• —Date: Janvier 2024
• —Type de modèle: Wav2Vec 2.0 + CTC pour reconnaissance automatique de la parole

La recette d'entraînement de ce système a été suivie: https://huggingface.co/speechbrain/asr-wav2vec2-commonvoice-fr

Modèle Wav2Vec 2.0 : LeBenchmark 7k large https://huggingface.co/LeBenchmark/wav2vec2-FR-7K-large

Les scripts sont à retrouver sur le repo Gitlab de la thèse: https://gitlab.com/solene-evain/recops/Domainadaptations/7kdomainAdaptation/

• —Speechbrain version: 0.5.11

• —Licence: CC BY NC SA 4.0

Données d'apprentissage, de dev et de test AllSpont:

Les données dites "AllSpont" sont réparties en trois ensembles train, dev et test. Train: 268h55 de parole spontanée (heures effectives de parole) Dev: 34h06 Test: 34h06

Les données sont issues (partiellement ou en totalité) des corpus suivants: Français de | Corpus | Heures | |---|---|---| |France |TCOF |23h| |France |ESLO2 |41h22| |France|CLAPI |2h05| |France|CFPP |35h47| |France|C-ORAL-ROM |16h05| |France|REUNIONS |9h36| |France|CID |6h32| |France|TUFS |27h15| |France|CRFP |25h57| |France|PFC |13h14| |France|FLEURON |2h18| |N/A |PFC |10h12| |N/A |TCOF |2h33| |N/A |MPF |17h50| |Suisse|OFROM |18h16| |Suisse|PFC |5h13| |Belgique |CFPB|7h39|

Pour tout besoin de détail sur les fichiers wav inclus dans le train, voir rubrique "contact".

Données d'évaluation

• —Usual_close: 1h28 de parole effective (ESLO2: 0h12, CLAPI: 1h15) ("très spontané")
• —Unusual_close: 1h25 de parole effective (CFPB: 1h25) ("moyennement spontané")
• —Unusual_distant: 1h40 de parole effective (CRFP: 0h47, ESLO2: 0h52) ("peu spontané")
• —AllCases: Usualclose + Unusualcolse + Unusual_distant
• —AllSpont test: (voir section "Données d'apprentissage, de dev et de test AllSpont")
• —ETAPE: https://aclanthology.org/L12-1270/
• —CV: CommonVoice version 6.1

Comparaison avec d'autres systèmes:

Décoder ses propres enregistrements:

(Test effectué avec Speechbrain 1.0.2)

pip install speechbrain transformers

from speechbrain.inference.ASR import EncoderASR

asr_model = EncoderASR.from_hparams(source="Sevain/asr-wav2vec2-LB7K-spontaneous-fr", savedir="pretrained_models/asr-wav2vec2-LB7K-spontaneous-fr")
asr_model.transcribe_file('path/to/your/file')

Citer les travaux:

@misc{SB2021,
    author = {Ravanelli, Mirco and Parcollet, Titouan and Rouhe, Aku and Plantinga, Peter and Rastorgueva, Elena and Lugosch, Loren and Dawalatabad, Nauman and Ju-Chieh, Chou and Heba, Abdel and Grondin, Francois and Aris, William and Liao, Chien-Feng and Cornell, Samuele and Yeh, Sung-Lin and Na, Hwidong and Gao, Yan and Fu, Szu-Wei and Subakan, Cem and De Mori, Renato and Bengio, Yoshua },
    title = {SpeechBrain},
    year = {2021},
    publisher = {GitHub},
    journal = {GitHub repository},
    howpublished = {https://github.com/speechbrain/speechbrain},
  }

@phdthesis{evain:tel-04984659,
  TITLE = {{Dimensions de variation de la parole spontan{\'e}e pour l'{\'e}tude inter-corpus des performances de syst{\`e}mes de reconnaissance automatique de la parole}},
  AUTHOR = {Evain, Sol{\`e}ne},
  URL = {https://theses.hal.science/tel-04984659},
  NUMBER = {2024GRALM037},
  SCHOOL = {{Universit{\'e} Grenoble Alpes}},
  YEAR = {2024},
  MONTH = Oct,
  KEYWORDS = {Automatic speech recognition ; Spontaneous speech ; Deep learning ; Reconnaissance automatique de la parole ; Parole spontan{\'e}e ; Apprentissage profond},
  TYPE = {Theses},
  PDF = {https://theses.hal.science/tel-04984659v1/file/EVAIN_2024_archivage.pdf},
  HAL_ID = {tel-04984659},
  HAL_VERSION = {v1},
}

Contact:

Solène Evain (solene.evain@inria.fr)

Caveats and recommendations

We do not provide any warranty on the performance achieved by this model when used on other datasets