elib
DLR-Header
DLR-Logo -> http://www.dlr.de
DLR Portal Home | Impressum | Datenschutz | Kontakt | English
Schriftgröße: [-] Text [+]

Estimator-Coupled Reinforcement Learning for Robust Purely Tactile In-Hand Manipulation

Röstel, Lennart und Pitz, Johannes und Sievers, Leon und Bäuml, Berthold (2024) Estimator-Coupled Reinforcement Learning for Robust Purely Tactile In-Hand Manipulation. In: 22nd IEEE-RAS International Conference on Humanoid Robots, Humanoids 2023, Seiten 1-8. IEEE. 2023 IEEE-RAS 22nd International Conference on Humanoid Robots (Humanoids), 2023-12-12 - 2023-12-14, Austin, TX, USA. doi: 10.1109/Humanoids57100.2023.10375194. ISBN 979-835030327-8. ISSN 2164-0572.

Dieses Archiv kann nicht den Volltext zur Verfügung stellen.

Offizielle URL: https://ieeexplore.ieee.org/document/10375194

Kurzfassung

This paper identifies and addresses the problems with naively combining (reinforcement) learning-based controllers and state estimators for robotic in-hand manipulation. Specifically, we tackle the challenging task of purely tactile, goal-conditioned, dextrous in-hand reorientation with the hand pointing downwards. Due to the limited sensing available, many control strategies that are feasible in simulation when having full knowledge of the object's state do not allow for accurate state estimation. Hence, separately training the controller and the estimator and combining the two at test time leads to poor performance. We solve this problem by coupling the control policy to the state estimator already during training in simulation. This approach leads to more robust state estimation and overall higher performance on the task while maintaining an interpretability advantage over end-to-end policy learning. With our GPU-accelerated implementation, learning from scratch takes a median training time of only 6.5 hours on a single, low-cost GPU. In simulation experiments with the DLR-Hand II and for four significantly different object shapes, we provide an in-depth analysis of the performance of our approach. We demonstrate the successful sim2real transfer by rotating the four objects to all 24 orientations in the pi/2 discretization of SO(3), which has never been achieved for such a diverse set of shapes. Finally, our method is able to reorient a cube consecutively to in median nine goals, which was beyond the reach of previous methods in this challenging setting. (Web: https://dlr-alr.github.io/dlr-tactile-manipulation).

elib-URL des Eintrags:https://elib.dlr.de/202624/
Dokumentart:Konferenzbeitrag (Vortrag)
Titel:Estimator-Coupled Reinforcement Learning for Robust Purely Tactile In-Hand Manipulation
Autoren:
AutorenInstitution oder E-Mail-AdresseAutoren-ORCID-iDORCID Put Code
Röstel, LennartLennart.Roestel (at) dlr.dehttps://orcid.org/0000-0002-3397-0658NICHT SPEZIFIZIERT
Pitz, JohannesJohannes.Pitz (at) dlr.dehttps://orcid.org/0000-0002-2629-1892NICHT SPEZIFIZIERT
Sievers, LeonLeon.Sievers (at) dlr.dehttps://orcid.org/0000-0001-6430-4618NICHT SPEZIFIZIERT
Bäuml, BertholdBerthold.Baeuml (at) dlr.dehttps://orcid.org/0000-0002-4545-4765NICHT SPEZIFIZIERT
Datum:1 Januar 2024
Erschienen in:22nd IEEE-RAS International Conference on Humanoid Robots, Humanoids 2023
Referierte Publikation:Ja
Open Access:Nein
Gold Open Access:Nein
In SCOPUS:Ja
In ISI Web of Science:Nein
DOI:10.1109/Humanoids57100.2023.10375194
Seitenbereich:Seiten 1-8
Verlag:IEEE
ISSN:2164-0572
ISBN:979-835030327-8
Status:veröffentlicht
Stichwörter:reinforcement learning
Veranstaltungstitel:2023 IEEE-RAS 22nd International Conference on Humanoid Robots (Humanoids)
Veranstaltungsort:Austin, TX, USA
Veranstaltungsart:internationale Konferenz
Veranstaltungsbeginn:12 Dezember 2023
Veranstaltungsende:14 Dezember 2023
HGF - Forschungsbereich:Luftfahrt, Raumfahrt und Verkehr
HGF - Programm:Raumfahrt
HGF - Programmthema:Robotik
DLR - Schwerpunkt:Raumfahrt
DLR - Forschungsgebiet:R RO - Robotik
DLR - Teilgebiet (Projekt, Vorhaben):R - Autonomie & Geschicklichkeit [RO]
Standort: Oberpfaffenhofen
Institute & Einrichtungen:Institut für Robotik und Mechatronik (ab 2013)
Hinterlegt von: Strobl, Dr. Klaus H.
Hinterlegt am:05 Feb 2024 08:48
Letzte Änderung:24 Apr 2024 21:02

Nur für Mitarbeiter des Archivs: Kontrollseite des Eintrags

Blättern
Suchen
Hilfe & Kontakt
Informationen
electronic library verwendet EPrints 3.3.12
Gestaltung Webseite und Datenbank: Copyright © Deutsches Zentrum für Luft- und Raumfahrt (DLR). Alle Rechte vorbehalten.