elib
DLR-Header
DLR-Logo -> http://www.dlr.de
DLR Portal Home | Impressum | Datenschutz | Kontakt | English
Schriftgröße: [-] Text [+]

Intention-Conditioned Long-Term Human Egocentric Action Anticipation

Valls Mascaró, Esteve und Ahn, Hyemin und Lee, Dongheui (2023) Intention-Conditioned Long-Term Human Egocentric Action Anticipation. In: 23rd IEEE/CVF Winter Conference on Applications of Computer Vision, WACV 2023, Seiten 6037-6046. IEEE. 2023 IEEE/CVF Winter Conference on Applications of Computer Vision, 2023-01-02 - 2023-01-07, Waikoloa, HI, USA. doi: 10.1109/WACV56688.2023.00599. ISBN 978-166549346-8. ISSN 2472-6737.

Dieses Archiv kann nicht den Volltext zur Verfügung stellen.

Offizielle URL: https://ieeexplore.ieee.org/document/10030492

Kurzfassung

To anticipate how a person would act in the future, it is essential to understand the human intention since it guides the subject towards a certain action. In this paper, we propose a hierarchical architecture which assumes a sequence of human action (low-level) can be driven from the human intention (high-level). Based on this, we deal with long-term action anticipation task in egocentric videos. Our framework first extracts this low- and high-level human information over the observed human actions in a video through a Hierarchical Multi-task Multi-Layer Perceptrons Mixer (H3M). Then, we constrain the uncertainty of the future through an Intention-Conditioned Variational Auto-Encoder (I-CVAE) that generates multiple stable predictions of the next actions that the observed human might perform. By leveraging human intention as high-level information, we claim that our model is able to anticipate more time-consistent actions in the long-term, thus improving the results over the baseline in Ego4D dataset. This work results in the state-of-the-art for Long-Term Anticipation (LTA) task in Ego4D by providing more plausible anticipated sequences, improving the anticipation scores of nouns and actions. Our work ranked first in both CVPR@2022 and ECCV@2022 Ego4D LTA Challenge.

elib-URL des Eintrags:https://elib.dlr.de/197483/
Dokumentart:Konferenzbeitrag (Vortrag)
Titel:Intention-Conditioned Long-Term Human Egocentric Action Anticipation
Autoren:
AutorenInstitution oder E-Mail-AdresseAutoren-ORCID-iDORCID Put Code
Valls Mascaró, EsteveTU Wienhttps://orcid.org/0000-0003-4195-8672NICHT SPEZIFIZIERT
Ahn, HyeminHyemin.Ahn (at) dlr.dehttps://orcid.org/0000-0001-8081-6023NICHT SPEZIFIZIERT
Lee, DongheuiDongheui.Lee (at) dlr.dehttps://orcid.org/0000-0003-1897-7664NICHT SPEZIFIZIERT
Datum:6 Februar 2023
Erschienen in:23rd IEEE/CVF Winter Conference on Applications of Computer Vision, WACV 2023
Referierte Publikation:Ja
Open Access:Nein
Gold Open Access:Nein
In SCOPUS:Ja
In ISI Web of Science:Ja
DOI:10.1109/WACV56688.2023.00599
Seitenbereich:Seiten 6037-6046
Verlag:IEEE
ISSN:2472-6737
ISBN:978-166549346-8
Status:veröffentlicht
Stichwörter:Action Anticipation
Veranstaltungstitel:2023 IEEE/CVF Winter Conference on Applications of Computer Vision
Veranstaltungsort:Waikoloa, HI, USA
Veranstaltungsart:internationale Konferenz
Veranstaltungsbeginn:2 Januar 2023
Veranstaltungsende:7 Januar 2023
Veranstalter :IEEE
HGF - Forschungsbereich:Luftfahrt, Raumfahrt und Verkehr
HGF - Programm:Raumfahrt
HGF - Programmthema:Robotik
DLR - Schwerpunkt:Raumfahrt
DLR - Forschungsgebiet:R RO - Robotik
DLR - Teilgebiet (Projekt, Vorhaben):R - Basistechnologien [RO]
Standort: Oberpfaffenhofen
Institute & Einrichtungen:Institut für Robotik und Mechatronik (ab 2013)
Hinterlegt von: Strobl, Dr. Klaus H.
Hinterlegt am:22 Sep 2023 12:56
Letzte Änderung:24 Apr 2024 20:57

Nur für Mitarbeiter des Archivs: Kontrollseite des Eintrags

Blättern
Suchen
Hilfe & Kontakt
Informationen
electronic library verwendet EPrints 3.3.12
Gestaltung Webseite und Datenbank: Copyright © Deutsches Zentrum für Luft- und Raumfahrt (DLR). Alle Rechte vorbehalten.