Ahn, Hyemin und Kwon, Obin und Kim, Kyungdo und Jeong, Jaeyeon und Jun, Howoong und Lee, Hongjung und Lee, Dongheui und Oh, Songhwai (2022) Visually Grounding Language Instruction for History-Dependent Manipulation. In: 39th IEEE International Conference on Robotics and Automation, ICRA 2022. IEEE. ICRA 2022, 2022-05-23 - 2022-05-27, Philadelphia (PA), USA. doi: 10.1109/ICRA46639.2022.9812279. ISBN 978-172819681-7. ISSN 1050-4729.
PDF
1MB |
Offizielle URL: https://ieeexplore.ieee.org/document/9812279
Kurzfassung
This paper emphasizes the importance of a robot's ability to refer to its task history, especially when it executes a series of pick-and-place manipulations by following language instructions given one by one. The advantage of referring to the manipulation history can be categorized into two folds: (1) the language instructions omitting details but using expressions referring to the past can be interpreted, and (2) the visual information of objects occluded by previous manipulations can be inferred. For this, we introduce a history-dependent manipulation task which objective is to visually ground a series of language instructions for proper pick-and-place manipulations by referring to the past. We also suggest a relevant dataset and model which can be a baseline, and show that our model trained with the proposed dataset can also be applied to the real world based on the CycleGAN. Our dataset and code are publicly available on the project website: https://sites.google.com/view/history-dependent-manipulation.
elib-URL des Eintrags: | https://elib.dlr.de/186017/ | ||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Dokumentart: | Konferenzbeitrag (Poster) | ||||||||||||||||||||||||||||||||||||
Titel: | Visually Grounding Language Instruction for History-Dependent Manipulation | ||||||||||||||||||||||||||||||||||||
Autoren: |
| ||||||||||||||||||||||||||||||||||||
Datum: | Mai 2022 | ||||||||||||||||||||||||||||||||||||
Erschienen in: | 39th IEEE International Conference on Robotics and Automation, ICRA 2022 | ||||||||||||||||||||||||||||||||||||
Referierte Publikation: | Ja | ||||||||||||||||||||||||||||||||||||
Open Access: | Ja | ||||||||||||||||||||||||||||||||||||
Gold Open Access: | Nein | ||||||||||||||||||||||||||||||||||||
In SCOPUS: | Ja | ||||||||||||||||||||||||||||||||||||
In ISI Web of Science: | Ja | ||||||||||||||||||||||||||||||||||||
DOI: | 10.1109/ICRA46639.2022.9812279 | ||||||||||||||||||||||||||||||||||||
Verlag: | IEEE | ||||||||||||||||||||||||||||||||||||
ISSN: | 1050-4729 | ||||||||||||||||||||||||||||||||||||
ISBN: | 978-172819681-7 | ||||||||||||||||||||||||||||||||||||
Status: | veröffentlicht | ||||||||||||||||||||||||||||||||||||
Stichwörter: | Manipulation Robot, Natural Language Processing, Computer Vision, Task History | ||||||||||||||||||||||||||||||||||||
Veranstaltungstitel: | ICRA 2022 | ||||||||||||||||||||||||||||||||||||
Veranstaltungsort: | Philadelphia (PA), USA | ||||||||||||||||||||||||||||||||||||
Veranstaltungsart: | internationale Konferenz | ||||||||||||||||||||||||||||||||||||
Veranstaltungsbeginn: | 23 Mai 2022 | ||||||||||||||||||||||||||||||||||||
Veranstaltungsende: | 27 Mai 2022 | ||||||||||||||||||||||||||||||||||||
Veranstalter : | IEEE | ||||||||||||||||||||||||||||||||||||
HGF - Forschungsbereich: | Luftfahrt, Raumfahrt und Verkehr | ||||||||||||||||||||||||||||||||||||
HGF - Programm: | Raumfahrt | ||||||||||||||||||||||||||||||||||||
HGF - Programmthema: | Robotik | ||||||||||||||||||||||||||||||||||||
DLR - Schwerpunkt: | Raumfahrt | ||||||||||||||||||||||||||||||||||||
DLR - Forschungsgebiet: | R RO - Robotik | ||||||||||||||||||||||||||||||||||||
DLR - Teilgebiet (Projekt, Vorhaben): | R - Autonome, lernende Roboter [RO] | ||||||||||||||||||||||||||||||||||||
Standort: | Oberpfaffenhofen | ||||||||||||||||||||||||||||||||||||
Institute & Einrichtungen: | Institut für Robotik und Mechatronik (ab 2013) > Leitungsbereich Institut für Robotik und Mechatronik (ab 2013) | ||||||||||||||||||||||||||||||||||||
Hinterlegt von: | Ahn, Hyemin | ||||||||||||||||||||||||||||||||||||
Hinterlegt am: | 04 Apr 2022 14:08 | ||||||||||||||||||||||||||||||||||||
Letzte Änderung: | 24 Apr 2024 20:47 |
Nur für Mitarbeiter des Archivs: Kontrollseite des Eintrags