Gestensteuerung Roboterarm UR10

Abbildung 1: UR10 Roboterarm

Autoren: Kevin Penner
Betreuer: Prof. Goebel
Art: Bachelorarbeit

Thema der Arbeit

Als Hauptziel dieser Arbeit soll eine Anwendung in der MATLAB Umgebung implementiert werden, welche die Arm- und Handgesten einer Person unter Anwendung einer 3D-Kamera erfasst, diese verarbeitet und anschließend in eine vergleichbare Roboterarmstellung transformiert. Dabei sollen sowohl sicherheitsrelevante Aspekte, wie z. B. ein kollisionsfreies Arbeiten des Roboters, berücksichtigt werden, als auch die Rahmenbedingungen für einen späteren Greifvorgang geschafft werden, indem Handgesten erkannt werden können. Bei dem Roboterarm handelt es sich um den „Zweiarm-Knickroboter“ mit dem Namen UR10 der Firma Universal Robots.

Anforderungen

Anforderungen an Aktorik und Sensorik:

• Verwendung eines Kinect-Sensors zur Erkennung von Gelenkkoordinaten und Handgesten
• Verwendung eines UR10 Roboterarms zur Rekonstruktion menschlicher Gesten

Anforderungen an die verwendete Software/Programmierumgebung:

• Implementierung der Software in MATLAB
• Verwendung des Robot Operating System "Polyscope"

Softwareanforderungen:

• Handgesten erkennen für eine spätere Ansteuerung eines Greifers
• Filterung & Glättung der Gesten/Bewegungen des Benutzers
• Transformation der Gesten/Bewegungen in eine Roboterbewegung
• Sicherheitscheck der Rotorbewegungen in Form von Kollisionsüberprüfungen mit Objekten im Arbeitsbereich des Roboters
• Implementierung einer benutzerfreundlichen Anwendung unter Verwendung von akustischen Befehlen und einer detailierten Bedienungsanleitung

Anwendungsgebiete

• Heise-Artikel: GDC: NASA steuert Weltraum Roboter per Kinect
• New Atlas Artikel: Gesture-controlled computers and robotic nurses being developed for operating rooms

Grundlagen

In diesem Kapitel werden die technischen Grundlagen dieser Arbeit vermittelt. Hierbei handelt es sich zum einen um eine Beschreibung und die Funktionsweise der vorhandenen Hardware- und Softwarekomponenten, zum anderen um Grundlagen im Bereich der Gestensteuerung von technischen Systemen. Auf der Grundlage der verwendeten Hardware wurde so ein Konzept zur Gestensteuerung des Roboterarms aufgestellt.

Kinect-Sensor

Abbildung 2: Aufbau des Kinect-Sensors V2

Für die Erfassung des menschlichen Arms wird der Kinect-Sensor V2 der Firma Microsoft verwendet. Dieser besitzt neben einer RGB-Kamera einen Tiefensensor, welcher eine Kombination aus Infrarot-Projektor und Infrarot-Kamera ist (siehe Abbildung 1). Außerdem verfügt die Kinect-Hardware über ein Mikrofon-Array und eine eingebaute Intelligenz in Form eines Computers, welcher eine Sensordatenverarbeitung vollzieht und dadurch eine Skeletterkennung bei Menschen durchführt.

Zusammenfassung, Optimierungspotential & Ausblick

---

→ zurück zum Hauptartikel: Studentische Arbeiten