Tell a friend
Print
Tenhumberg, Johannes and Sievers, Leon and Winkelbauer, Dominik and Röstel, Lennart and Pitz, Johannes and Humt, Matthias and Kasolowsky, Ulf and Hillenbrand, Ulrich and Butterfaß, Jörg and Friedl, Werner and Gumpert, Thomas and Bäuml, Berthold (2024) Intelligent Dextrous Manipulation: Humanoid Agile Justin Meets Learning AI. In: 2024 IEEE International Conference on Robotics and Automation, ICRA 2024. 41st IEEE International Conference on Robotics and Automation, ICRA 2024, 2024-05-13 - 2024-05-17, Yokohama, Japan. ISBN 9798350384574. ISSN 1050-4729.
This is the latest version of this item.
Full text not available from this repository.
Abstract
DLR's mobile humanoid Agile Justin is an advanced mechatronic system with its beginnings dating back as early as 2007. However, with the advent of modern deep learning (DL) and deep reinforcement learning (DRL) methods we developed, it now has reached a new level of autonomous dexterity never before shown by any humanoid. This is especially true for autonomous dextrous manipulation with its multi-fingered DLR-Hands II: it can perform in-hand manipulation -- purely tactile (w/o cameras) and learned from scratch in only 5h on a single GPU -- as well as grasp unknown objects based on a single depth image by shape completion and grasp prediction (in <1s). Collision-free motion planning in self-acquired high-resolution 3D environment models is performed in realtime (200ms for the 19 DOF upper body) made possible by our neural motion planning methods. In addition, new fast automatic and self-contained (no external tools needed) calibration methods for the complete upper body and the hands have been developed to reach the necessary precision in the kinematics for performing the delicate tasks shown in the video.
| Item URL in elib: | https://elib.dlr.de/207768/ | ||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Document Type: | Conference or Workshop Item (Other) | ||||||||||||||||||||||||||||||||||||||||||||||||||||
| Additional Information: | Contributed stand-alone video to the ICRA 2024. See: https://youtu.be/CZBMXDM1_Tk . | ||||||||||||||||||||||||||||||||||||||||||||||||||||
| Title: | Intelligent Dextrous Manipulation: Humanoid Agile Justin Meets Learning AI | ||||||||||||||||||||||||||||||||||||||||||||||||||||
| Authors: |
| ||||||||||||||||||||||||||||||||||||||||||||||||||||
| Date: | 13 May 2024 | ||||||||||||||||||||||||||||||||||||||||||||||||||||
| Journal or Publication Title: | 2024 IEEE International Conference on Robotics and Automation, ICRA 2024 | ||||||||||||||||||||||||||||||||||||||||||||||||||||
| Refereed publication: | No | ||||||||||||||||||||||||||||||||||||||||||||||||||||
| Open Access: | No | ||||||||||||||||||||||||||||||||||||||||||||||||||||
| Gold Open Access: | No | ||||||||||||||||||||||||||||||||||||||||||||||||||||
| In SCOPUS: | Yes | ||||||||||||||||||||||||||||||||||||||||||||||||||||
| In ISI Web of Science: | No | ||||||||||||||||||||||||||||||||||||||||||||||||||||
| ISSN: | 1050-4729 | ||||||||||||||||||||||||||||||||||||||||||||||||||||
| ISBN: | 9798350384574 | ||||||||||||||||||||||||||||||||||||||||||||||||||||
| Status: | Published | ||||||||||||||||||||||||||||||||||||||||||||||||||||
| Keywords: | Humanoid Robot; Deep Learning; Dextrous Manipulation; In-Hand Manipulation; | ||||||||||||||||||||||||||||||||||||||||||||||||||||
| Event Title: | 41st IEEE International Conference on Robotics and Automation, ICRA 2024 | ||||||||||||||||||||||||||||||||||||||||||||||||||||
| Event Location: | Yokohama, Japan | ||||||||||||||||||||||||||||||||||||||||||||||||||||
| Event Type: | international Conference | ||||||||||||||||||||||||||||||||||||||||||||||||||||
| Event Start Date: | 13 May 2024 | ||||||||||||||||||||||||||||||||||||||||||||||||||||
| Event End Date: | 17 May 2024 | ||||||||||||||||||||||||||||||||||||||||||||||||||||
| Organizer: | IEEE | ||||||||||||||||||||||||||||||||||||||||||||||||||||
| HGF - Research field: | Aeronautics, Space and Transport | ||||||||||||||||||||||||||||||||||||||||||||||||||||
| HGF - Program: | Space | ||||||||||||||||||||||||||||||||||||||||||||||||||||
| HGF - Program Themes: | Robotics | ||||||||||||||||||||||||||||||||||||||||||||||||||||
| DLR - Research area: | Raumfahrt | ||||||||||||||||||||||||||||||||||||||||||||||||||||
| DLR - Program: | R RO - Robotics | ||||||||||||||||||||||||||||||||||||||||||||||||||||
| DLR - Research theme (Project): | R - Autonomy & Dexterity [RO] | ||||||||||||||||||||||||||||||||||||||||||||||||||||
| Location: | Oberpfaffenhofen | ||||||||||||||||||||||||||||||||||||||||||||||||||||
| Institutes and Institutions: | Institute of Robotics and Mechatronics (since 2013) | ||||||||||||||||||||||||||||||||||||||||||||||||||||
| Deposited By: | Sievers, Leon | ||||||||||||||||||||||||||||||||||||||||||||||||||||
| Deposited On: | 18 Nov 2024 20:13 | ||||||||||||||||||||||||||||||||||||||||||||||||||||
| Last Modified: | 18 Nov 2024 20:28 |
Available Versions of this Item
- Intelligent Dextrous Manipulation: Humanoid Agile Justin Meets Learning AI. (deposited 18 Nov 2024 20:13) [Currently Displayed]
Repository Staff Only: item control page
