elib
DLR-Header
DLR-Logo -> http://www.dlr.de
DLR Portal Home | Impressum | Datenschutz | Kontakt | English
Schriftgröße: [-] Text [+]

Visually Grounding Language Instruction for History-Dependent Manipulation

Ahn, Hyemin und Kwon, Obin und Kim, Kyungdo und Jeong, Jaeyeon und Jun, Howoong und Lee, Hongjung und Lee, Dongheui und Oh, Songhwai (2022) Visually Grounding Language Instruction for History-Dependent Manipulation. In: 39th IEEE International Conference on Robotics and Automation, ICRA 2022. IEEE. ICRA 2022, 2022-05-23 - 2022-05-27, Philadelphia (PA), USA. doi: 10.1109/ICRA46639.2022.9812279. ISBN 978-172819681-7. ISSN 1050-4729.

[img] PDF
1MB

Offizielle URL: https://ieeexplore.ieee.org/document/9812279

Kurzfassung

This paper emphasizes the importance of a robot's ability to refer to its task history, especially when it executes a series of pick-and-place manipulations by following language instructions given one by one. The advantage of referring to the manipulation history can be categorized into two folds: (1) the language instructions omitting details but using expressions referring to the past can be interpreted, and (2) the visual information of objects occluded by previous manipulations can be inferred. For this, we introduce a history-dependent manipulation task which objective is to visually ground a series of language instructions for proper pick-and-place manipulations by referring to the past. We also suggest a relevant dataset and model which can be a baseline, and show that our model trained with the proposed dataset can also be applied to the real world based on the CycleGAN. Our dataset and code are publicly available on the project website: https://sites.google.com/view/history-dependent-manipulation.

elib-URL des Eintrags:https://elib.dlr.de/186017/
Dokumentart:Konferenzbeitrag (Poster)
Titel:Visually Grounding Language Instruction for History-Dependent Manipulation
Autoren:
AutorenInstitution oder E-Mail-AdresseAutoren-ORCID-iDORCID Put Code
Ahn, HyeminHyemin.Ahn (at) dlr.deNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Kwon, Obinobin.kwon (at) rllab.snu.ac.krNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Kim, Kyungdokimkyungdo08 (at) gmail.comNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Jeong, Jaeyeonjaeyeon.jeong (at) rllab.snu.ac.krNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Jun, Howoonghowoong.jun (at) rllab.snu.ac.krNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Lee, Hongjunghongjung.lee (at) rllab.snu.ac.krNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Lee, DongheuiDongheui.Lee (at) dlr.dehttps://orcid.org/0000-0003-1897-7664NICHT SPEZIFIZIERT
Oh, Songhwaisonghwai.oh (at) snu.ac.krNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Datum:Mai 2022
Erschienen in:39th IEEE International Conference on Robotics and Automation, ICRA 2022
Referierte Publikation:Ja
Open Access:Ja
Gold Open Access:Nein
In SCOPUS:Ja
In ISI Web of Science:Ja
DOI:10.1109/ICRA46639.2022.9812279
Verlag:IEEE
ISSN:1050-4729
ISBN:978-172819681-7
Status:veröffentlicht
Stichwörter:Manipulation Robot, Natural Language Processing, Computer Vision, Task History
Veranstaltungstitel:ICRA 2022
Veranstaltungsort:Philadelphia (PA), USA
Veranstaltungsart:internationale Konferenz
Veranstaltungsbeginn:23 Mai 2022
Veranstaltungsende:27 Mai 2022
Veranstalter :IEEE
HGF - Forschungsbereich:Luftfahrt, Raumfahrt und Verkehr
HGF - Programm:Raumfahrt
HGF - Programmthema:Robotik
DLR - Schwerpunkt:Raumfahrt
DLR - Forschungsgebiet:R RO - Robotik
DLR - Teilgebiet (Projekt, Vorhaben):R - Autonome, lernende Roboter [RO]
Standort: Oberpfaffenhofen
Institute & Einrichtungen:Institut für Robotik und Mechatronik (ab 2013) > Leitungsbereich
Institut für Robotik und Mechatronik (ab 2013)
Hinterlegt von: Ahn, Hyemin
Hinterlegt am:04 Apr 2022 14:08
Letzte Änderung:24 Apr 2024 20:47

Nur für Mitarbeiter des Archivs: Kontrollseite des Eintrags

Blättern
Suchen
Hilfe & Kontakt
Informationen
electronic library verwendet EPrints 3.3.12
Gestaltung Webseite und Datenbank: Copyright © Deutsches Zentrum für Luft- und Raumfahrt (DLR). Alle Rechte vorbehalten.