Im Rahmen der zunehmenden Automatisierung sowie durch den vermehrten Einsatz von Robotertechnik auch im häuslichen Umfeld sowie im Werkstattbereich besteht die Anforderung, alltägliche Gegenstände und Werkzeuge im Raum zu lokalisieren damit sie von einem Roboter zielgenau und sicher gegriffen werden können.
Der durch die Modellfabrik Prozessdaten umgesetzte Demonstrator besteht aus einer hochauflösenden Astra Orbecc 3-D-Kamera und veranschaulicht den Einsatz von Deep-Learning-Verfahren für die Detektion der Hand sowie des von selbiger gehaltenen Gegenstandes. Weiterhin werden konturbasierte Matching-Verfahren für die Detektion bekannter Gegenstände im Farbbild mit anschließendem Tiefen-Lookup zur Bestimmung der 3-D-Koordinaten präsentiert. Auf Basis dieser Technologie sind u.a. echtzeitfähige Mensch-Roboter-Kollaborationen möglich.
Vorteile dieser Lösung
- Lokalisation der Hand sowie Bestimmung der Fingerstellung mittels Deep-Learning
- Lokalisation der gehaltenen unbekannten Gegenstände mittels Deep-Learning mit mittlerer Genauigkeit
- Lokalisation bekannter Gegenstände auf Basis mehrerer Referenzbilder mittels konturbasiertem Matching
- Bestimmung der 3-D-Koordinaten auf Basis von registrierten Farb- und Tiefenbildern sowie bekannter Kameraparameter
- anpassbar für die Lokalisation beliebiger Gegenstände
- tolerant gegenüber partiellen Verdeckungen (Hand umgreift zu lokalisierenden Gegenstand)