elib
DLR-Header
DLR-Logo -> http://www.dlr.de
DLR Portal Home | Impressum | Datenschutz | Kontakt | English
Schriftgröße: [-] Text [+]

Virtual Reality via Object Pose Estimation and Active Learning: Realizing Telepresence Robots with Aerial Manipulation Capabilities

Lee, Jongseok und Radhakrishna Balachandran, Ribin und Kondak, Konstantin und Coelho, Andre und De Stefano, Marco und Humt, Matthias und Feng, Jianxiang und Asfour, Tamim und Triebel, Rudolph (2023) Virtual Reality via Object Pose Estimation and Active Learning: Realizing Telepresence Robots with Aerial Manipulation Capabilities. Field Robotics, 3, Seiten 323-367. Field Robotics Publication Society. doi: 10.55417/fr.2023010. ISSN 2771-3989.

[img] PDF - Verlagsversion (veröffentlichte Fassung)
4MB

Offizielle URL: https://fieldrobotics.net/Field_Robotics/Volume_3_files/Vol3_10.pdf

Kurzfassung

This paper presents a novel telepresence system for advancing aerial manipulation in dynamic and unstructured environments. The proposed system not only features a haptic device, but also a virtual reality (VR) interface that provides real-time 3D displays of the robot's workspace as well as a haptic guidance to its remotely located operator. To realize this, multiple sensors, namely, a LiDAR, cameras, and IMUs are utilized. For processing of the acquired sensory data, pose estimation pipelines are devised for industrial objects of both known and unknown geometries. We further propose an active learning pipeline in order to increase the sample efficiency of a pipeline component that relies on a Deep Neural Network (DNN) based object detector. All these algorithms jointly address various challenges encountered during the execution of perception tasks in industrial scenarios. In the experiments, exhaustive ablation studies are provided to validate the proposed pipelines. Methodologically, these results commonly suggest how an awareness of the algorithms' own failures and uncertainty ("introspection") can be used to tackle the encountered problems. Moreover, outdoor experiments are conducted to evaluate the effectiveness of the overall system in enhancing aerial manipulation capabilities. In particular, with flight campaigns over days and nights, from spring to winter, and with different users and locations, we demonstrate over 70 robust executions of pick-and-place, force application and peg-in-hole tasks with the DLR cable-Suspended Aerial Manipulator (SAM). As a result, we show the viability of the proposed system in future industrial applications.

elib-URL des Eintrags:https://elib.dlr.de/194517/
Dokumentart:Zeitschriftenbeitrag
Titel:Virtual Reality via Object Pose Estimation and Active Learning: Realizing Telepresence Robots with Aerial Manipulation Capabilities
Autoren:
AutorenInstitution oder E-Mail-AdresseAutoren-ORCID-iDORCID Put Code
Lee, JongseokJongseok.Lee (at) dlr.dehttps://orcid.org/0000-0002-0960-0809NICHT SPEZIFIZIERT
Radhakrishna Balachandran, RibinRibin.Balachandran (at) dlr.dehttps://orcid.org/0000-0002-7560-471XNICHT SPEZIFIZIERT
Kondak, KonstantinKonstantin.Kondak (at) dlr.deNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Coelho, Andreandre.coelho (at) dlr.dehttps://orcid.org/0000-0002-0917-5574NICHT SPEZIFIZIERT
De Stefano, MarcoMarco.deStefano (at) dlr.deNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Humt, MatthiasMatthias.Humt (at) dlr.dehttps://orcid.org/0000-0002-1523-9335NICHT SPEZIFIZIERT
Feng, JianxiangJianxiang.Feng (at) dlr.deNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Asfour, TamimInstitute for Anthropomatics and RoboticsNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Triebel, RudolphRudolph.Triebel (at) dlr.deNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Datum:1 März 2023
Erschienen in:Field Robotics
Referierte Publikation:Ja
Open Access:Ja
Gold Open Access:Nein
In SCOPUS:Nein
In ISI Web of Science:Nein
Band:3
DOI:10.55417/fr.2023010
Seitenbereich:Seiten 323-367
Verlag:Field Robotics Publication Society
ISSN:2771-3989
Status:veröffentlicht
Stichwörter:pose estimation, active learning, virtual reality, telepresence, aerial manipulation, uncertainty quantification, introspection
HGF - Forschungsbereich:Luftfahrt, Raumfahrt und Verkehr
HGF - Programm:Raumfahrt
HGF - Programmthema:Robotik
DLR - Schwerpunkt:Raumfahrt
DLR - Forschungsgebiet:R RO - Robotik
DLR - Teilgebiet (Projekt, Vorhaben):R - Erklärbare Robotische KI
Standort: Oberpfaffenhofen
Institute & Einrichtungen:Institut für Robotik und Mechatronik (ab 2013)
Institut für Robotik und Mechatronik (ab 2013) > Perzeption und Kognition
Hinterlegt von: Lee, Jongseok
Hinterlegt am:29 Mär 2023 11:15
Letzte Änderung:29 Mär 2023 11:15

Nur für Mitarbeiter des Archivs: Kontrollseite des Eintrags

Blättern
Suchen
Hilfe & Kontakt
Informationen
electronic library verwendet EPrints 3.3.12
Gestaltung Webseite und Datenbank: Copyright © Deutsches Zentrum für Luft- und Raumfahrt (DLR). Alle Rechte vorbehalten.