elib
DLR-Header
DLR-Logo -> http://www.dlr.de
DLR Portal Home | Impressum | Datenschutz | Kontakt | English
Schriftgröße: [-] Text [+]

Measuring Speech Recognition And Understanding Performance in Air Traffic Control Domain Beyond Word Error Rates

Helmke, Hartmut und Shetty, Shruthi und Kleinert, Matthias und Ohneiser, Oliver und Prasad, Amrutha und Motlicek, Petr und Cerna, Aneta und Windisch, Christian (2021) Measuring Speech Recognition And Understanding Performance in Air Traffic Control Domain Beyond Word Error Rates. 11th SESAR Innovation Days, 07.12.2021 - 09.12.2021, Virtual.

Dieses Archiv kann nicht den Volltext zur Verfügung stellen.

Kurzfassung

Applying Automatic Speech Recognition (ASR) in the domain of analogue voice communication between air traffic controllers (ATCo) and pilots has more end user requirements than just transforming spoken words into text. It is useless for, e.g., read-back error detection support, if word recognition is perfect, as long as the semantic interpretation is wrong. For an ATCo it is of almost no importance if the words of a greeting are correctly recognized. A wrong recognition of a greeting should, however, not disturb the correct recognition of, e.g., a “descend” com-mand. More important is the correct semantic interpretation. What, however, is the correct semantic interpretation especially when ATCos or pilot, deviate more of less from published standard phraseology? For comparing performance of different speech recognition applications, 14 European partners from Air Traffic Management (ATM) domain have recently agreed on a common set of rules, i.e., an ontology on how to annotate the speech utterances of an ATCo on semantic level. This paper first presents the new metric of “unclassified word rate”, extends the ontology to pilot utterances, and introduces the metrics of com-mand recognition rate, command recognition error rate, and command recognition rejection rate. This enables the compari-son of different speech recognition and understanding instances on semantic level. The implementation used in this paper achieves a command recognition rate better than 96% for Pra-gue Approach, even if word error rate is above 2.5% based on more than 12,000 ATCo commands – recorded in both opera-tional and lab environment. This outperforms previous pub-lished rates by 2% absolute.

elib-URL des Eintrags:https://elib.dlr.de/145679/
Dokumentart:Konferenzbeitrag (Vortrag)
Titel:Measuring Speech Recognition And Understanding Performance in Air Traffic Control Domain Beyond Word Error Rates
Autoren:
AutorenInstitution oder E-Mail-AdresseAutoren-ORCID-iDORCID Put Code
Helmke, Hartmuthartmut.helmke (at) dlr.deNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Shetty, Shruthishruthi.shetty (at) dlr.deNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Kleinert, MatthiasMatthias.Kleinert (at) dlr.deNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Ohneiser, OliverOliver.Ohneiser (at) dlr.dehttps://orcid.org/0000-0002-5411-691XNICHT SPEZIFIZIERT
Prasad, AmruthaAmrutha.Prasad (at) idiap.chNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Motlicek, PetrPetr.Motlicek (at) idiap.chNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Cerna, AnetaAneta.Cerna (at) ans.czNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Windisch, Christianchristian.windisch (at) austrocontrol.atNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Datum:2021
Referierte Publikation:Ja
Open Access:Nein
Gold Open Access:Nein
In SCOPUS:Nein
In ISI Web of Science:Nein
Status:veröffentlicht
Stichwörter:word error rate, command recognition rate, language understanding, air traffic control, ATC, unclassified word rate
Veranstaltungstitel:11th SESAR Innovation Days
Veranstaltungsort:Virtual
Veranstaltungsart:internationale Konferenz
Veranstaltungsdatum:07.12.2021 - 09.12.2021
Veranstalter :SESAR Joint Undertaking
HGF - Forschungsbereich:Luftfahrt, Raumfahrt und Verkehr
HGF - Programm:Luftfahrt
HGF - Programmthema:keine Zuordnung
DLR - Schwerpunkt:Luftfahrt
DLR - Forschungsgebiet:L - keine Zuordnung
DLR - Teilgebiet (Projekt, Vorhaben):L - Managementaufgaben Luftfahrt
Standort: Braunschweig
Institute & Einrichtungen:Institut für Flugführung > Lotsenassistenz
Hinterlegt von: Kleinert, Matthias
Hinterlegt am:13 Dez 2021 09:46
Letzte Änderung:13 Dez 2021 09:46

Nur für Mitarbeiter des Archivs: Kontrollseite des Eintrags

Blättern
Suchen
Hilfe & Kontakt
Informationen
electronic library verwendet EPrints 3.3.12
Gestaltung Webseite und Datenbank: Copyright © Deutsches Zentrum für Luft- und Raumfahrt (DLR). Alle Rechte vorbehalten.