Gestensteuerung Roboterarm UR10

Abbildung 1: UR10 Roboterarm

Autoren: Kevin Penner
Betreuer: Prof. Goebel
Art: Bachelorarbeit

Thema der Arbeit

Als Hauptziel dieser Arbeit soll eine Anwendung in der MATLAB Umgebung implementiert werden, welche die Arm- und Handgesten einer Person unter Anwendung einer 3D-Kamera erfasst, diese verarbeitet und anschließend in eine vergleichbare Roboterarmstellung transformiert. Dabei sollen sowohl sicherheitsrelevante Aspekte, wie z. B. ein kollisionsfreies Arbeiten des Roboters, berücksichtigt werden, als auch die Rahmenbedingungen für einen späteren Greifvorgang geschafft werden, indem Handgesten erkannt werden können. Bei dem Roboterarm handelt es sich um den „Zweiarm-Knickroboter“ mit dem Namen UR10 der Firma Universal Robots.

Anforderungen

Anforderungen an Aktorik und Sensorik:

• Verwendung eines Kinect-Sensors zur Erkennung von Gelenkkoordinaten und Handgesten
• Verwendung eines UR10 Roboterarms zur Rekonstruktion menschlicher Gesten

Anforderungen an die verwendete Software/Programmierumgebung:

• Implementierung der Software in MATLAB
• Verwendung des Robot Operating System "Polyscope"

Softwareanforderungen:

• Handgesten erkennen für eine spätere Ansteuerung eines Greifers
• Filterung & Glättung der Gesten/Bewegungen des Benutzers
• Transformation der Gesten/Bewegungen in eine Roboterbewegung
• Sicherheitscheck der Rotorbewegungen in Form von Kollisionsüberprüfungen mit Objekten im Arbeitsbereich des Roboters
• Implementierung einer benutzerfreundlichen Anwendung unter Verwendung von akustischen Befehlen und einer detailierten Bedienungsanleitung

Anwendungsgebiete

• Heise-Artikel: GDC: NASA steuert Weltraum Roboter per Kinect
• New Atlas Artikel: Gesture-controlled computers and robotic nurses being developed for operating rooms

Grundlagen

In diesem Kapitel werden die technischen Grundlagen dieser Arbeit vermittelt. Hierbei handelt es sich zum einen um eine Beschreibung und die Funktionsweise der vorhandenen Hardware- und Softwarekomponenten, zum anderen um Grundlagen im Bereich der Gestensteuerung von technischen Systemen. Auf der Grundlage der verwendeten Hardware wurde so ein Konzept zur Gestensteuerung des Roboterarms aufgestellt.

Kinect-Sensor

Abbildung 2: Aufbau des Kinect-Sensors V2

Abbildung 3: Auflistung Gelenkkoordinaten

Für die Erfassung des menschlichen Arms wird der Kinect-Sensor V2 der Firma Microsoft verwendet. Dieser besitzt neben einer RGB-Kamera einen Tiefensensor, welcher eine Kombination aus Infrarot-Projektor und Infrarot-Kamera ist (siehe Abbildung 2). Außerdem verfügt die Kinect-Hardware über ein Mikrofon-Array und eine eingebaute Intelligenz in Form eines Computers, welcher eine Sensordatenverarbeitung vollzieht und dadurch eine Skeletterkennung bei Menschen durchführt.

Für die Verwendung des Kinect-Sensors in MATLAB ist eine SDK notwendig. Diese SDK mit dem Namen „Image Acquisition Toolbox Support Package for Kinect for Windows Sensor“ kann in MATLAB über den Add-On Manager installiert werden und beinhaltet neben den Hardware Treibern eine Sammlung von Software Beispielen. Für die Nutzung dieser SDK ist jedoch eine MATLAB Version ab R2016a notwendig. Im Zuge dieser Arbeit wird die Toolbox der Version 16.2.0 verwendet.
Weitere Sepzifikationen des Kinect-Sensors befinden sich in folgender Tabelle :

Beschreibung	Funktionen
Auflösung RGB-Kamera	1920 x 1080
Auflösung Tiefensensor	512 x 424
Max Distanz Tiefensensor	4,5 m
Min Distanz Tiefensensor	0,5 m
Bildfrequenz RGB-Kamera	30 fps
Bildfrequenz Tiefenkamera	30 fps
Horizontaler Sichtbereich Tiefenkamera	70 deg
Vertikaler Sichtbereich Tiefenkamera	60 deg
USB-Standard	3
Unterstütztes OS	Windows 8 oder höher
benötigte Grafikkarte	unterstützt DirectX 11.0 oder höher

Die Skeletterkennung erfolgt auf der Kinect-Hardware. Neben dem Zugriff auf das Farb- und Tiefenbild der Kinect, lassen sich die Metadaten des Tiefenbildes in MATLAB auslesen. In diesen sind die 25 Gelenkkoordinaten im 3D Koordinatensystem der Kinect hinterlegt. In Abbildung 3 ist eine Auslistung der Gelenkkoordinaten sortiert nach ihrer Indexzahl abgebildet.

Literatur

---

→ zurück zum Hauptartikel: Studentische Arbeiten