elib
DLR-Header
DLR-Logo -> http://www.dlr.de
DLR Portal Home | Impressum | Datenschutz | Kontakt | English
Schriftgröße: [-] Text [+]

HOW DOES PRE-TRAINED WAV2VEC 2.0 PERFORM ON DOMAIN-SHIFTED ASR? AN EXTENSIVE BENCHMARK ON AIR TRAFFIC CONTROL COMMUNICATIONS

Zuluaga-Gomez, Juan Pablo und Prasad, Amrutha und Nigmatulina, Iuliia und Sarfjoo, Seyyed Saeed und Motlicek, Petr und Kleinert, Matthias und Helmke, Hartmut und Ohneiser, Oliver und Zhan, Qingran (2023) HOW DOES PRE-TRAINED WAV2VEC 2.0 PERFORM ON DOMAIN-SHIFTED ASR? AN EXTENSIVE BENCHMARK ON AIR TRAFFIC CONTROL COMMUNICATIONS. In: 2022 IEEE Spoken Language Technology Workshop, SLT 2022 - Proceedings. The 2022 IEEE Spoken Language Workshop Technology Workshop (SLT 2022), 2023-01-09 - 2023-01-12, Doha, Qatar. doi: 10.1109/SLT54892.2023.10022724. ISBN 979-835039690-4. ISSN 2639-5479.

[img] PDF
292kB

Kurzfassung

Recent work on self-supervised pre-training focus on leveraging large-scale unlabeled speech data to build robust end-to-end (E2E) acoustic models (AM) that can be later fine-tuned on downstream tasks e.g., automatic speech recognition (ASR). Yet, few works investigated the impact on performance when the data properties substantially differ between the pre-training and fine-tuning phases, termed domain shift. We target this scenario by analyzing the robustness of Wav2Vec 2.0 and XLS-R models on downstream ASR for a completely unseen domain, air traffic control (ATC) communications. We benchmark these two models on several open-source and challenging ATC databases with signal-to-noise ratio between 5 to 20 dB. Relative word error rate (WER) reductions between 20% to 40% are obtained in comparison to hybrid-based ASR baselines by only fine-tuning E2E acoustic models with a smaller fraction of labeled data. We analyze WERs on the low-resource scenario and gender bias carried by one ATC dataset.

elib-URL des Eintrags:https://elib.dlr.de/189418/
Dokumentart:Konferenzbeitrag (Vortrag)
Titel:HOW DOES PRE-TRAINED WAV2VEC 2.0 PERFORM ON DOMAIN-SHIFTED ASR? AN EXTENSIVE BENCHMARK ON AIR TRAFFIC CONTROL COMMUNICATIONS
Autoren:
AutorenInstitution oder E-Mail-AdresseAutoren-ORCID-iDORCID Put Code
Zuluaga-Gomez, Juan PabloIdiap, EPFLNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Prasad, AmruthaIdiap, BUTNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Nigmatulina, IuliiaIdiapNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Sarfjoo, Seyyed SaeedIdiapNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Motlicek, PetrPetr.Motlicek (at) idiap.chNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Kleinert, MatthiasMatthias.Kleinert (at) dlr.dehttps://orcid.org/0000-0002-0782-4147NICHT SPEZIFIZIERT
Helmke, HartmutHartmut.Helmke (at) dlr.dehttps://orcid.org/0000-0002-1939-0200NICHT SPEZIFIZIERT
Ohneiser, OliverOliver.Ohneiser (at) dlr.dehttps://orcid.org/0000-0002-5411-691XNICHT SPEZIFIZIERT
Zhan, QingranSchool of Information and Electronics, Beijing Institute of TechnologyNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Datum:2023
Erschienen in:2022 IEEE Spoken Language Technology Workshop, SLT 2022 - Proceedings
Referierte Publikation:Ja
Open Access:Ja
Gold Open Access:Nein
In SCOPUS:Ja
In ISI Web of Science:Ja
DOI:10.1109/SLT54892.2023.10022724
ISSN:2639-5479
ISBN:979-835039690-4
Status:veröffentlicht
Stichwörter:Automatic speech recognition, Wav2Vec 2.0, self-supervised pre-training, air traffic control communications
Veranstaltungstitel:The 2022 IEEE Spoken Language Workshop Technology Workshop (SLT 2022)
Veranstaltungsort:Doha, Qatar
Veranstaltungsart:internationale Konferenz
Veranstaltungsbeginn:9 Januar 2023
Veranstaltungsende:12 Januar 2023
HGF - Forschungsbereich:Luftfahrt, Raumfahrt und Verkehr
HGF - Programm:Luftfahrt
HGF - Programmthema:Luftverkehr und Auswirkungen
DLR - Schwerpunkt:Luftfahrt
DLR - Forschungsgebiet:L AI - Luftverkehr und Auswirkungen
DLR - Teilgebiet (Projekt, Vorhaben):L - Integrierte Flugführung
Standort: Braunschweig
Institute & Einrichtungen:Institut für Flugführung > Lotsenassistenz
Hinterlegt von: Diederich, Kerstin
Hinterlegt am:12 Dez 2022 09:35
Letzte Änderung:24 Apr 2024 20:50

Nur für Mitarbeiter des Archivs: Kontrollseite des Eintrags

Blättern
Suchen
Hilfe & Kontakt
Informationen
electronic library verwendet EPrints 3.3.12
Gestaltung Webseite und Datenbank: Copyright © Deutsches Zentrum für Luft- und Raumfahrt (DLR). Alle Rechte vorbehalten.