elib
DLR-Header
DLR-Logo -> http://www.dlr.de
DLR Portal Home | Impressum | Datenschutz | Kontakt | English
Schriftgröße: [-] Text [+]

ImitationNet: Unsupervised Human-to-Robot Motion Retargeting via Shared Latent Space

Yan, Yashuai und Mascaro, Esteve Valls und Lee, Dongheui (2024) ImitationNet: Unsupervised Human-to-Robot Motion Retargeting via Shared Latent Space. In: 22nd IEEE-RAS International Conference on Humanoid Robots, Humanoids 2023, Seiten 1-8. IEEE. 2023 IEEE-RAS 22nd International Conference on Humanoid Robots (Humanoids), 2023-12-12 - 2023-12-14, Austin, TX, USA. doi: 10.1109/Humanoids57100.2023.10375150. ISBN 979-835030327-8. ISSN 2164-0572.

Dieses Archiv kann nicht den Volltext zur Verfügung stellen.

Offizielle URL: https://ieeexplore.ieee.org/document/10375150

Kurzfassung

This paper introduces a novel deep-learning approach for human-to-robot motion retargeting, enabling robots to mimic human poses accurately. Contrary to prior deep-learning-based works, our method does not require paired human-to-robot data, which facilitates its translation to new robots. First, we construct a shared latent space between humans and robots via adaptive contrastive learning that takes advantage of a proposed cross-domain similarity metric between the human and robot poses. Additionally, we propose a consistency term to build a common latent space that captures the similarity of the poses with precision while allowing direct robot motion control from the latent space. For instance, we can generate in-between motion through simple linear interpolation between two projected human poses. We conduct a comprehensive evaluation of robot control from diverse modalities (i.e., texts, RGB videos, and key poses), which facilitates robot control for non-expert users. Our model outperforms existing works regarding human-to-robot retargeting in terms of efficiency and precision. Finally, we implemented our method in a real robot with self-collision avoidance through a whole-body controller to showcase the effectiveness of our approach.

elib-URL des Eintrags:https://elib.dlr.de/202150/
Dokumentart:Konferenzbeitrag (Vortrag)
Titel:ImitationNet: Unsupervised Human-to-Robot Motion Retargeting via Shared Latent Space
Autoren:
AutorenInstitution oder E-Mail-AdresseAutoren-ORCID-iDORCID Put Code
Yan, YashuaiTU WienNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Mascaro, Esteve VallsTU WienNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Lee, Dongheuidongheui.lee (at) tuwien.ac.athttps://orcid.org/0000-0003-1897-7664NICHT SPEZIFIZIERT
Datum:1 Januar 2024
Erschienen in:22nd IEEE-RAS International Conference on Humanoid Robots, Humanoids 2023
Referierte Publikation:Ja
Open Access:Nein
Gold Open Access:Nein
In SCOPUS:Ja
In ISI Web of Science:Nein
DOI:10.1109/Humanoids57100.2023.10375150
Seitenbereich:Seiten 1-8
Verlag:IEEE
ISSN:2164-0572
ISBN:979-835030327-8
Status:veröffentlicht
Stichwörter:motion retargeting
Veranstaltungstitel:2023 IEEE-RAS 22nd International Conference on Humanoid Robots (Humanoids)
Veranstaltungsort:Austin, TX, USA
Veranstaltungsart:internationale Konferenz
Veranstaltungsbeginn:12 Dezember 2023
Veranstaltungsende:14 Dezember 2023
Veranstalter :IEEE-RAS
HGF - Forschungsbereich:Luftfahrt, Raumfahrt und Verkehr
HGF - Programm:Raumfahrt
HGF - Programmthema:Robotik
DLR - Schwerpunkt:Raumfahrt
DLR - Forschungsgebiet:R RO - Robotik
DLR - Teilgebiet (Projekt, Vorhaben):R - Basistechnologien [RO]
Standort: Oberpfaffenhofen
Institute & Einrichtungen:Institut für Robotik und Mechatronik (ab 2013)
Hinterlegt von: Strobl, Dr. Klaus H.
Hinterlegt am:23 Jan 2024 15:22
Letzte Änderung:24 Apr 2024 21:02

Nur für Mitarbeiter des Archivs: Kontrollseite des Eintrags

Blättern
Suchen
Hilfe & Kontakt
Informationen
electronic library verwendet EPrints 3.3.12
Gestaltung Webseite und Datenbank: Copyright © Deutsches Zentrum für Luft- und Raumfahrt (DLR). Alle Rechte vorbehalten.