elib
DLR-Header
DLR-Logo -> http://www.dlr.de
DLR Portal Home | Impressum | Datenschutz | Kontakt | English
Schriftgröße: [-] Text [+]

Guiding Reinforcement Learning with Shared Control Templates

Padalkar, Abhishek und Quere, Gabriel und Steinmetz, Franz und Raffin, Antonin und Nieuwenhuisen, Matthias und Silvério, João und Stulp, Freek (2023) Guiding Reinforcement Learning with Shared Control Templates. In: 2023 IEEE International Conference on Robotics and Automation, ICRA 2023. IEEE. IEEE International Conference on Robotics and Automation 2023, 2023-05-29 - 2023-06-02, London. doi: 10.1109/ICRA48891.2023.10161058. ISBN 979-835032365-8. ISSN 1050-4729.

[img] PDF
4MB

Offizielle URL: https://ieeexplore.ieee.org/document/10161058

Kurzfassung

Purposeful interaction with objects usually requires certain constraints to be respected, e.g. keeping a bottle upright to avoid spilling. In reinforcement learning, such constraints are typically encoded in the reward function. As a consequence, constraints can only be learned by violating them. This often precludes learning on the physical robot, as it may take many trials to learn the constraints, and the necessity to violate them during the trial-and-error learning may be unsafe. We have serendipitously discovered that constraint representations for shared control -- in particular Shared Control Templates (SCTs) -- are ideally suited for guiding RL. Representing constraints explicitly (rather than implicitly in the reward function) also simplifies the design of the reward function. We evaluate the advantages of the approach (faster learning without constraint violations, even with sparse reward functions) in a simulated pouring task. Furthermore, we demonstrate that these advantages enable the real robot to learn this task in only 65 episodes taking 16 minutes.

elib-URL des Eintrags:https://elib.dlr.de/193739/
Dokumentart:Konferenzbeitrag (Poster)
Titel:Guiding Reinforcement Learning with Shared Control Templates
Autoren:
AutorenInstitution oder E-Mail-AdresseAutoren-ORCID-iDORCID Put Code
Padalkar, AbhishekAbhishek.Padalkar (at) dlr.deNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Quere, GabrielGabriel.Quere (at) dlr.dehttps://orcid.org/0000-0002-1788-3685NICHT SPEZIFIZIERT
Steinmetz, FranzFranz.Steinmetz (at) dlr.deNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Raffin, AntoninAntonin.Raffin (at) dlr.dehttps://orcid.org/0000-0001-6036-6950NICHT SPEZIFIZIERT
Nieuwenhuisen, Matthiasmatthias.nieuwenhuisen (at) fkie.fraunhofer.deNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Silvério, JoãoJoao.Silverio (at) dlr.dehttps://orcid.org/0000-0003-1428-8933NICHT SPEZIFIZIERT
Stulp, FreekFreek.Stulp (at) dlr.deNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Datum:4 Juli 2023
Erschienen in:2023 IEEE International Conference on Robotics and Automation, ICRA 2023
Referierte Publikation:Ja
Open Access:Ja
Gold Open Access:Nein
In SCOPUS:Ja
In ISI Web of Science:Nein
DOI:10.1109/ICRA48891.2023.10161058
Verlag:IEEE
ISSN:1050-4729
ISBN:979-835032365-8
Status:veröffentlicht
Stichwörter:Reinforcement Learning, Constrained Motion, Safe Robot Learning
Veranstaltungstitel:IEEE International Conference on Robotics and Automation 2023
Veranstaltungsort:London
Veranstaltungsart:internationale Konferenz
Veranstaltungsbeginn:29 Mai 2023
Veranstaltungsende:2 Juni 2023
Veranstalter :IEEE
HGF - Forschungsbereich:Luftfahrt, Raumfahrt und Verkehr
HGF - Programm:Raumfahrt
HGF - Programmthema:Robotik
DLR - Schwerpunkt:Raumfahrt
DLR - Forschungsgebiet:R RO - Robotik
DLR - Teilgebiet (Projekt, Vorhaben):R - Autonome, lernende Roboter [RO]
Standort: Oberpfaffenhofen
Institute & Einrichtungen:Institut für Robotik und Mechatronik (ab 2013)
Institut für Robotik und Mechatronik (ab 2013) > Kognitive Robotik
Hinterlegt von: Padalkar, Abhishek
Hinterlegt am:31 Jan 2023 15:47
Letzte Änderung:24 Apr 2024 20:54

Nur für Mitarbeiter des Archivs: Kontrollseite des Eintrags

Blättern
Suchen
Hilfe & Kontakt
Informationen
electronic library verwendet EPrints 3.3.12
Gestaltung Webseite und Datenbank: Copyright © Deutsches Zentrum für Luft- und Raumfahrt (DLR). Alle Rechte vorbehalten.