Das Projekt 34: BrickPi Videoverarbeitung des Fachpraktikum Elektrotechnik (WS 15/16) wurde im fünften Semester des Studiengangs Mechatronik durchgeführt. Es behandelt die Bild- bzw. Videoverarbeitung mit einem Raspberry Pi, sowie die Ansteuerung von Lego Mindstorm Motoren mit dem BrickPi (einer Zusatzplatine für den Raspberry Pi). Das zu detektierende Objekt ist ein Zebrastreifen auf einer Fahrbahn.

Autoren: Sven Söbbeke, Kevin Penner
Betreuer: Prof. Schneider

Aufgabe

Nutzen Sie Matlab/Simulink, einen Raspberry Pi, das Shield BrickPi und eine Webcam, um ein Objekt zu erkennen.

Erwartungen an die Projektlösung

Lesen Sie eine Webcam mit dem BrickPi und Matlab‐Simulink aus.
Verarbeiten Sie das Videobild mit Matlab/Simulink (z. B. rote Ball erkennen)
Bauen Sie einen NXT oder EV3 Roboter.
Steuern Sie über Matlab/Simulink und BrickPi Ihren Roboter an, so dass er auf das Videobild reagiert und eine Aktion ausführt.
Modellbasierte Programmierung der Hardware via Target Installer
Wiss. Dokumentation der Lösung und Funktionsnachweis
Live Vorführung während der Abschlusspräsentation

Nachtrag: Sollte sich die Integration in Simulink als zu kompliziert herausstellen, ist eine Realisierung mit der Programmiersprache C empfehlenswert.

Schwierigkeitsgrad

Anspruchsvoll (***)

Planung

Projektplanung

Zu Beginn des Projektes wurde zunächst ein Projektplan erstellt, dieser wurde in sechs Phasen aufgeteilt, diese Auteilung findet sich auch in Abbildung 2 wieder:

Bau des Roboters
Erstellung des Algorithmus für die Bildverarbeitung in Matlab
Ansprechen der Motoren
Erstellung des Algorithmus für die Bildverarbeitung in Simulink
Erstellung der Projektpräsentation
Erstellung der Projektdokumentation

Verwendete Bauteile

1x Raspberry Pi
1x Brick Pi
1x Webcam
2x EV3 Motoren
1x LEGO Mindstorms EV3 Education + Ergänzungsset

Software

Abbildung 3: Programmablaufplan: Detektion von Zebrastreifen

Bild/Videoverarbeitung

Die Anforderungen an die Bildverarbeitung war es, ein Zebrastreifenmuster auf einer Fahrbahn zu erkennen. Ist dies der Fall, wird ein high am Ausgang der Funktion angelegt, welches z.B. einen langsamen Bremsvorgang auslösen könnte. So wurde zunächst ein Programmablaufplan geschrieben (siehe Abbildung 2), welcher folgende Schritte enthält:

Vorbereitung:
- Wahl eines geeigneten ROI je nach Position und Neigungswinkel der Kamera
- Einstellung der Mindestanzahl an zu detektierenden Streifen, damit es sich um ein Zebrastreifen handelt
- Wahl eines passenden Schwellwertes für die Binarisierung des Grauwertbildes. Hier stellte sich raus, dass höhere Werte gute Ergebnisse erzielen, da so dunklere Gebiete herausgefiltert werden und die weißen Zebrastreifen gut detektiert werden können.
Laden eines neuen Frames
Bildbearbeitung:
- Umwandlung eines RGB-Bildes in ein Grauwertbild
- Kantenglättung mit einem Median Filter
- Binarisierung des Bildes mit einem vorher eingestellten Schwellwert
Zebrastreifendetektion:
- Horizontales Scannen des Bildes zum Erfassen von Kanten
- Bei Detektion von der eingestellten Mindestanzahl an Streifen mit einer Mindestpixelhöhe von 10 (experimentell ermittelt), wird ein "1" zurückgegeben, sonst eine "0"

Anhand dieses Programmablaufes wurde ein Simulinkmodell erstellt (siehe Abbildung 3) mit einem selbstgeschriebenen Matlabfunktionblock, der als Eingabeparameter die Koodrdinaten für die ROI, die Mindestanzahl an zu detektierenden Streifen und das Binärbild erhält. Die Ausgabe "1" (Zabrastreifen detektiert) oder "0" (kein Zebrastreifen) wird dann auf einem Display angezeigt.

Motoransteuerung

Für das Ansteuern der Lego Mindstorm Motoren über den BrickPi entstanden einige Probleme. So ist es nicht möglich die Motoren über Matlab/Simulink anzusprechen, da es weder interne noch externe öffentliche Bibliotheken bzw. Toolboxen für den BrickPi gibt. Jedoch gelingt das Ansteuern der Motoren über C/C++ oder Phyton auf einer Linux Distribution (abgewandeltes Raspbian Betriebssystem von Dexter Industries: Tutorial bei weiterführende Links). Für die Bildverarbeitung wurde hierfür die Open Source Bildverarbeitungsbibliothek: OpenCV genutzt (Webseitenlink bei weiterführende Link)

Hinweis: In Bearbeitung

Roboter

Der Roboter wie er in Abblildung 1 zu sehen ist wurde mit Hilfe der Anleitung vom "Tankbot"(so heißt das Modell) nachgebaut. Allerdings wurde anstatt der Ketten Reifen verwendet, dies hat den Vorteil, dass das Kamerablid nicht verwackelt. Des Weiteren wurde an der Stelle wo der Gyrosensor vorgesehen ist, befindet sich die Webcam. Dies waren die einzigen änderungen die am "Tankbot", der Link zur Bauanleitung befindet sich weiter unten

Fazit und Ausblick

Erfüllte Aufgaben des Projektes

Auslesen einer Webcam mit dem BrickPi und Matlab/Simulink
Verarbeiten eines Videobildes mit Matlab/Simulink und Erkennung eines Zebrastreifens
Bau eines NXT oder EV3 Roboters
Modellbasierte Programmierung der Hardware via Target Installer (Simulink Support Package für Raspberry Pi Hardware)
Wissenschaftliche Dokumentation der Lösung und Funktionsnachweis
Live Vorführung während der Abschlusspräsentation

Lernerfolge

Verbesserungsmöglichkeiten

Weiterführende Links

Bauanleitung für "Tankbot" (Aufgerufen am 26.11.2015)
Tutorial zur Installation und Konfiguration des Raspberry Pi mit dem Zusatzmodul BrickPi von der Firma: Dexter Industries (Aufgerufen am 04.02.2016) Bildverarbeitungsbibliothek: OpenCV (Aufgerufen am 04.02.2016)

→ zurück zum Hauptartikel: Fachpraktikum Elektrotechnik (WS 15/16)

Projekt 34: BrickPi Videoverarbeitung

Inhaltsverzeichnis