elib
DLR-Header
DLR-Logo -> http://www.dlr.de
DLR Portal Home | Impressum | Datenschutz | Kontakt | English
Schriftgröße: [-] Text [+]

How to Measure Speech Recognition Performance in the Air Traffic Control Domain? The Word Error Rate is only half of the truth

Helmke, Hartmut und Shetty, Shruthi und Kleinert, Matthias und Ohneiser, Oliver und Prasad, Amrutha und Motlice, Petr und Cerna, Aneta und Windisch, Christian (2021) How to Measure Speech Recognition Performance in the Air Traffic Control Domain? The Word Error Rate is only half of the truth. Interspeech 2021, 2021-08-30 - 2021-09-03, Brno, Tschechien.

[img] PDF
267kB

Kurzfassung

Applying Automatic Speech Recognition (ASR) in the domain of analogue voice communication between air traffic controllers (ATCo) and pilots has more end user requirements than just transforming spoken words into text. It is useless, when word recognition is perfect, as long as the semantic interpretation is wrong. For an ATCo it is of no importance if the words of greeting are correctly recognized. A wrong recognition of a greeting should, however, not disturb the correct recognition of e.g. a “descend” command. Recently, 14 European partners from Air Traffic Management (ATM) domain have agreed on a common set of rules, i.e., an ontology on how to annotate the speech utterance of an ATCo. This paper first extends the ontology to pilot utterances and then compares different ASR implementations on semantic level by introducing command recognition, command recognition error, and command rejection rates. The implementation used in this paper achieves a command recognition rate better than 94% for Prague Approach, even when WER is above 2.5%

elib-URL des Eintrags:https://elib.dlr.de/145465/
Dokumentart:Konferenzbeitrag (Vortrag)
Titel:How to Measure Speech Recognition Performance in the Air Traffic Control Domain? The Word Error Rate is only half of the truth
Autoren:
AutorenInstitution oder E-Mail-AdresseAutoren-ORCID-iDORCID Put Code
Helmke, HartmutHartmut.Helmke (at) dlr.dehttps://orcid.org/0000-0002-1939-0200NICHT SPEZIFIZIERT
Shetty, Shruthishruthi.shetty (at) dlr.deNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Kleinert, MatthiasMatthias.Kleinert (at) dlr.dehttps://orcid.org/0000-0002-0782-4147NICHT SPEZIFIZIERT
Ohneiser, OliverOliver.Ohneiser (at) dlr.dehttps://orcid.org/0000-0002-5411-691XNICHT SPEZIFIZIERT
Prasad, Amruthaamrutha.prasad (at) idiap.chNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Motlice, Petrpetr.motlicek (at) idiap.chNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Cerna, AnetaAneta.Cerna (at) ans.czNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Windisch, Christianchristian.windisch (at) austrocontrol.atlNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Datum:2021
Referierte Publikation:Ja
Open Access:Ja
Gold Open Access:Nein
In SCOPUS:Nein
In ISI Web of Science:Nein
Status:veröffentlicht
Stichwörter:word error rate, command recognition rate, language understanding, air traffic control, ATC
Veranstaltungstitel:Interspeech 2021
Veranstaltungsort:Brno, Tschechien
Veranstaltungsart:internationale Konferenz
Veranstaltungsbeginn:30 August 2021
Veranstaltungsende:3 September 2021
HGF - Forschungsbereich:Luftfahrt, Raumfahrt und Verkehr
HGF - Programm:Luftfahrt
HGF - Programmthema:keine Zuordnung
DLR - Schwerpunkt:Luftfahrt
DLR - Forschungsgebiet:L - keine Zuordnung
DLR - Teilgebiet (Projekt, Vorhaben):L - Managementaufgaben Luftfahrt
Standort: Braunschweig
Institute & Einrichtungen:Institut für Flugführung > Lotsenassistenz
Hinterlegt von: Diederich, Kerstin
Hinterlegt am:15 Nov 2021 07:30
Letzte Änderung:24 Apr 2024 20:44

Nur für Mitarbeiter des Archivs: Kontrollseite des Eintrags

Blättern
Suchen
Hilfe & Kontakt
Informationen
electronic library verwendet EPrints 3.3.12
Gestaltung Webseite und Datenbank: Copyright © Deutsches Zentrum für Luft- und Raumfahrt (DLR). Alle Rechte vorbehalten.