Projekt 34: BrickPi Videoverarbeitung

Abbildung 1: Der Roboter: Tankbot

Das Projekt 34: BrickPi Videoverarbeitung des Fachpraktikum Elektrotechnik (WS 15/16) wurde im fünften Semester des Studiengangs Mechatronik durchgeführt. Es behandelt die Bild- bzw. Videoverarbeitung mit einem Raspberry Pi, sowie die Ansteuerung von Lego Mindstorm Motoren mit dem BrickPi (einer Zusatzplatine für den Raspberry Pi). Das zu detektierende Objekt ist ein Zebrastreifen auf einer Fahrbahn.

Autoren: Sven Söbbeke, Kevin Penner
Betreuer: Prof. Schneider

Aufgabe

Nutzen Sie Matlab/Simulink, einen Raspberry Pi, das Shield BrickPi und eine Webcam, um ein Objekt zu erkennen.

Erwartungen an die Projektlösung

• Lesen Sie eine Webcam mit dem BrickPi und Matlab‐Simulink aus.
• Verarbeiten Sie das Videobild mit Matlab/Simulink (z. B. rote Ball erkennen)
• Bauen Sie einen NXT oder EV3 Roboter.
• Steuern Sie über Matlab/Simulink und BrickPi Ihren Roboter an, so dass er auf das Videobild reagiert und eine Aktion ausführt.
• Modellbasierte Programmierung der Hardware via Target Installer
• Wiss. Dokumentation der Lösung und Funktionsnachweis
• Live Vorführung während der Abschlusspräsentation

Nachtrag: Sollte sich die Integration in Simulink als zu kompliziert herausstellen, ist eine Realisierung mit der Programmiersprache C empfehlenswert.

Schwierigkeitsgrad

Anspruchsvoll (***)

Planung

Projektplanung

Abbildung 2: Projektplan

Zu Beginn des Projektes wurde zunächst ein Projektplan erstellt, dieser wurde in sechs Phasen aufgeteilt, diese Auteilung findet sich auch in Abbildung 2 wieder:

• Bau des Roboters
• Erstellung des Algorithmus für die Bildverarbeitung in Matlab
• Ansprechen der Motoren
• Erstellung des Algorithmus für die Bildverarbeitung in Simulink
• Erstellung der Projektpräsentation
• Erstellung der Projektdokumentation

Verwendete Bauteile

• 1x Raspberry Pi
• 1x Brick Pi
• 1x Webcam
• 2x EV3 Motoren
• 1x LEGO Mindstorms EV3 Education + Ergänzungsset

Software

Abbildung 3: Programmablaufplan: Detektion von Zebrastreifen

Abbildung 4: Simulink Blockschaltbild

Bild/Videoverarbeitung

Die Anforderungen an die Bildverarbeitung war es, ein Zebrastreifenmuster auf einer Fahrbahn zu erkennen. Ist dies der Fall, wird ein high am Ausgang der Funktion angelegt, welches z.B. einen langsamen Bremsvorgang auslösen könnte. So wurde zunächst ein Programmablaufplan geschrieben (siehe Abbildung 2), welcher folgende Schritte enthält:

• Vorbereitung:
  • Wahl eines geeigneten ROI je nach Position und Neigungswinkel der Kamera
  • Einstellung der Mindestanzahl an zu detektierenden Streifen, damit es sich um ein Zebrastreifen handelt
  • Wahl eines passenden Schwellwertes für die Binarisierung des Grauwertbildes. Hier stellte sich raus, dass höhere Werte gute Ergebnisse erzielen, da so dunklere Gebiete herausgefiltert werden und die weißen Zebrastreifen gut detektiert werden können.
• Laden eines neuen Frames
• Bildbearbeitung:
  • Umwandlung eines RGB-Bildes in ein Grauwertbild
  • Kantenglättung mit einem Median Filter
  • Binarisierung des Bildes mit einem vorher eingestellten Schwellwert
• Zebrastreifendetektion:
  • Horizontales Scannen des Bildes zum Erfassen von Kanten
  • Bei Detektion von der eingestellten Mindestanzahl an Streifen mit einer Mindestpixelhöhe von 10 (experimentell ermittelt), wird ein "1" zurückgegeben, sonst eine "0"

Anhand dieses Programmablaufes wurde ein Simulinkmodell erstellt (siehe Abbildung 3) mit einem selbstgeschriebenen Matlabfunktionblock, der als Eingabeparameter die Koodrdinaten für die ROI, die Mindestanzahl an zu detektierenden Streifen und das Binärbild erhält. Die Ausgabe "1" (Zabrastreifen detektiert) oder "0" (kein Zebrastreifen) wird dann auf einem Display angezeigt.

Motoransteuerung

Für das Ansteuern der Lego Mindstorm Motoren über den BrickPi entstanden einige Probleme. So ist es nicht möglich die Motoren über Matlab/Simulink anzusprechen, da es weder interne noch externe öffentliche Bibliotheken bzw. Toolboxen für den BrickPi gibt. Jedoch gelingt das Ansteuern der Motoren über C/C++ oder Phyton auf einer Linux Distribution (abgewandeltes Raspbian Betriebssystem von Dexter Industries: Tutorial bei weiterführende Links). Für die Bildverarbeitung wurde hierfür die Open Source Bildverarbeitungsbibliothek: OpenCV genutzt (Webseitenlink bei weiterführende Link). Dabei stellte sich heraus, dass die Kompatibilität zwischen der BrickPi- und OpenCV Bibliothek nicht gewährleistet war. Aufgrund dessen wurde die Motorsteuerung zunächst vernachlässigt und das Hauptaugenmerk der Bildverarbeitung in Matlab/Simulink gewidmet.

Hinweis: In Bearbeitung

Roboter

Der Roboter wie er in Abblildung 1 zu sehen ist wurde mit Hilfe der Anleitung vom "Tankbot"(so heißt das Modell) nachgebaut. Allerdings wurde anstatt der Ketten Reifen verwendet, dies hat den Vorteil, dass das Kamerablid nicht verwackelt. Des Weiteren wurde an der Stelle wo der Gyrosensor vorgesehen ist, befindet sich die Webcam. Dies waren die einzigen änderungen die am "Tankbot", der Link zur Bauanleitung befindet sich weiter unten

Fazit und Ausblick

Erfüllte Aufgaben des Projektes

• Auslesen einer Webcam mit dem BrickPi und Matlab/Simulink
• Verarbeiten eines Videobildes mit Matlab/Simulink und Erkennung eines Zebrastreifens
• Bau eines NXT oder EV3 Roboters
• Modellbasierte Programmierung der Hardware via Target Installer (Simulink Support Package für Raspberry Pi Hardware)
• Wissenschaftliche Dokumentation der Lösung und Funktionsnachweis
• Live Vorführung während der Abschlusspräsentation

Lernerfolge

Verbesserungsmöglichkeiten

Weiterführende Links

Bauanleitung für "Tankbot" (Aufgerufen am 26.11.2015)
Tutorial zur Installation und Konfiguration des Raspberry Pi mit dem Zusatzmodul BrickPi von der Firma: Dexter Industries (Aufgerufen am 04.02.2016)
Bildverarbeitungsbibliothek: OpenCV (Aufgerufen am 04.02.2016)

---

→ zurück zum Hauptartikel: Fachpraktikum Elektrotechnik (WS 15/16)