elib
DLR-Header
DLR-Logo -> http://www.dlr.de
DLR Portal Home | Impressum | Datenschutz | Kontakt | English
Schriftgröße: [-] Text [+]

Tele-Robotics VR with Holographic Vision in Immersive Video

Lafruit, Gauthier und Van Bogaert, Laurie und Sancho Aragón, Jaime und Panzirsch, Michael und Hirt, Gregoire und Strobl, Klaus H. und Juárez Martínez, Eduardo (2022) Tele-Robotics VR with Holographic Vision in Immersive Video. In: 1st Workshop on Interactive eXtended Reality, IXR 2022, Seiten 61-68. Association for Computing Machinery, New York, NY, United States. 1st Workshop on Interactive eXtended Reality (IXR '22), 2022-10-14, Lisboa, Portugal. doi: 10.1145/3552483.3556461. ISBN 978-1-4503-9501-4.

[img] PDF
12MB

Offizielle URL: https://dl.acm.org/doi/abs/10.1145/3552483.3556461

Kurzfassung

We present a first-of-its-kind end-to-end tele-robotic VR system where the user operates a robot arm remotely, while being virtually immersed into the scene through force feedback and holographic vision. In contrast to stereoscopic head mounted displays that only provide depth perception to the user, the holographic vision device projects a light field, additionally allowing the user to correctly accommodate his/her eyes to the perceived depth of the scene's objects. The highly improved immersive user experience results in less fatigue in the tele-operator's daily work, creating safer and/or longer working conditions. The core technology relies on recent advances in immersive video coding for audio-visual transmission developed within the MPEG standardization committee. Virtual viewpoints are synthesized for the tele-operator's viewing direction from a couple of colour and depth fixed video feeds. Besides of the display hardware and its GPU-enabled view synthesis driver, the biggest challenge hides in obtaining high-quality and reliable depth images from low-cost depth sensing devices. Specialized depth refinement tools have been developed for running in real- time at zero delay within the end-to-end tele-robotic immersive video pipeline, which must remain interactive by essence. Various modules work asynchronously and efficiently at their own pace, with the acquisition devices typically being limited to 30 frames per second (fps), while the holographic headset updates its projected light field at up to 240 fps. Such modular approach ensures high genericity over a wide range of free navigation VR/XR applications, also beyond the tele-robotic one presented in this paper.

elib-URL des Eintrags:https://elib.dlr.de/189299/
Dokumentart:Konferenzbeitrag (Vortrag)
Titel:Tele-Robotics VR with Holographic Vision in Immersive Video
Autoren:
AutorenInstitution oder E-Mail-AdresseAutoren-ORCID-iDORCID Put Code
Lafruit, GauthierUniversité libre de Bruxelles (ULB)https://orcid.org/0000-0002-2349-1936NICHT SPEZIFIZIERT
Van Bogaert, LaurieUniversité libre de Bruxelles (ULB)NICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Sancho Aragón, JaimeUniversidad Politécnica de Madridhttps://orcid.org/0000-0001-8767-6596NICHT SPEZIFIZIERT
Panzirsch, MichaelMichael.Panzirsch (at) dlr.dehttps://orcid.org/0000-0002-0647-7147NICHT SPEZIFIZIERT
Hirt, GregoireCREALNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Strobl, Klaus H.Klaus.Strobl (at) dlr.dehttps://orcid.org/0000-0001-8123-0606147007593
Juárez Martínez, EduardoUniversidad Politécnica de Madridhttps://orcid.org/0000-0002-6096-1511NICHT SPEZIFIZIERT
Datum:10 Oktober 2022
Erschienen in:1st Workshop on Interactive eXtended Reality, IXR 2022
Referierte Publikation:Ja
Open Access:Ja
Gold Open Access:Nein
In SCOPUS:Ja
In ISI Web of Science:Nein
DOI:10.1145/3552483.3556461
Seitenbereich:Seiten 61-68
Verlag:Association for Computing Machinery, New York, NY, United States
Name der Reihe:MM International Multimedia Conference
ISBN:978-1-4503-9501-4
Status:veröffentlicht
Stichwörter:immersive video, view synthesis, holographic HMD, foveated light field rendering, tele-robotic 6DoF-VR
Veranstaltungstitel:1st Workshop on Interactive eXtended Reality (IXR '22)
Veranstaltungsort:Lisboa, Portugal
Veranstaltungsart:Workshop
Veranstaltungsdatum:14 Oktober 2022
Veranstalter :ACM
HGF - Forschungsbereich:Luftfahrt, Raumfahrt und Verkehr
HGF - Programm:Raumfahrt
HGF - Programmthema:Robotik
DLR - Schwerpunkt:Raumfahrt
DLR - Forschungsgebiet:R RO - Robotik
DLR - Teilgebiet (Projekt, Vorhaben):R - Telerobotik, R - Intuitive Mensch-Roboter Schnittstelle [RO], R - Multisensorielle Weltmodellierung (RM) [RO]
Standort: Oberpfaffenhofen
Institute & Einrichtungen:Institut für Robotik und Mechatronik (ab 2013) > Autonomie und Fernprogrammierung
Institut für Robotik und Mechatronik (ab 2013) > Perzeption und Kognition
Hinterlegt von: Strobl, Dr. Klaus H.
Hinterlegt am:26 Okt 2022 10:42
Letzte Änderung:24 Apr 2024 20:50

Nur für Mitarbeiter des Archivs: Kontrollseite des Eintrags

Blättern
Suchen
Hilfe & Kontakt
Informationen
electronic library verwendet EPrints 3.3.12
Gestaltung Webseite und Datenbank: Copyright © Deutsches Zentrum für Luft- und Raumfahrt (DLR). Alle Rechte vorbehalten.