Simulationsumgebung für die Objekt- und Spurerkennung

Autoren: Hagen Heuer, Tim Kruse, Marius Köhler, Stefan Arndt
Betreuer: Prof. Schneider

Einleitung

Autoren: Hagen Heuer, Tim Kruse
Um die Hauptnutzungszeit der Kamera für Funktionstests zu verringern, soll eine Simulationsumgebung in Visual Studio programmiert werden. Ziel ist es hierbei die Weiterverarbeitung der Bilder, welche die Kamera bereitstellt, zu implementieren und zu testen.

Es sollen hierbei folgende Funktionen der Bildverarbeitung implementiert und getestet werden.

Erstellung eines Binärbildes, um die Rechenleistung zu optimieren
Festlegen der Region of Interest, um die Rechenleistung weiter zu optimieren
Filterung von Reflektionen durch den Einfall von Licht
Transformation des Kamerabildes in Vogelperspektive, um die Objekt- und Spurerkennung zu vereinfachen

Anforderungen

Autoren: Hagen Heuer, Tim Kruse

Auf Basis der gestellten Anforderungen aus dem Lastenheft konnten folgende Pflichten für die Simulationsumgebung abgeleitet werden.

Um die Zusammenarbeit beider Teams zu vereinfachen wurden weitere Anforderungen an die Bildvorverarbeitung gestellt. Diese werden nachfolgend ausgelistet und erörtert.
Binärbild
Zur vereinfachten Objekt und Spurerkennung sollte das RGB-Farbbild in ein Binärbild gewandelt werden. Dieses stellt die Farben lediglich in Schwarz und Weiß dar. Somit sollen die Fahrbahnlinien in Weiß dargestellt werden und die Umgebung in Schwarz.

Reflektionen filtern
Zudem sollen Reflektionen nach Möglichkeit heraus gefiltert werden, da diese sonst auf Grund ihrer Helligkeit weiß dargestellt werden und somit die Objekt- und Spurerkennung beeinträchtigen können. Im Zweifelsfalls soll die Fahrspur unterbrochen werden, um Reflektionen sicher zu filtern.

Region of Interest anpassen
Um die benötigte Rechenleistung zu verringern, sollte zudem der gezeigte Bildausschnitt angepasst werden. Die Bedeutet, dass das Fahrzeug nicht mehr zu sehen sein soll und die Sicht in die Ferne eingeschränkt werden soll.

Transformartion in Vogelperspektive
Desweiteren sollen die einzelnen Bilder in Vogelperspektive transformiert werden und möglichst ohne Verzerrungen dargestellt werden.

Konzeptentwicklung

Autoren: Hagen Heuer, Tim Kruse
Die Programmierung der Simulationsumgebung erfolgt in Visual Studio 2019, da die bisherige Implementierung der Kamera ebenfalls in Visual Studio erfolgte. Zudem stellen die Bibliotheken von OpenCV Funktionen bereit, welche die Simulation der VRmagic Kamera vereinfachen.

Als Grundlage für die Simulation der VRmagic Kamera dient ein Video, welches die Strecke inklusive der Stopp-Kreuzungen beinhaltet. Zudem Berücksichtigt das Fahrzeug in dem Video die Anforderungen an das Verhalten an Stopp-Kreuzungen, welches der Spurerkennung zu gute kommt.

Da zwei Teams an der Simulationsumgebung arbeiten bietet es sich an, dass Programm modular aufzubauen. Die Programmstruktur ist nachfolgend erläutert.

main.cpp
- Hauptprogramm der Simulationsumgebung
- Implementierung der Konsolenanwendung
Frame_lesen.cpp und Frame_lesen.h
- Einlesen des Videos
- Nächsten Frame aus dem Video extrahieren
Bildtransformation.cpp und Bildtransformation.h
- Anpassen der Region of Interest
- Graustufenbild erstellen
- Binärbild erstellen
- Reflektionen filtern
- Transformation in Vogelperspektive
Frame_ausgeben.cpp und Frame_ausgeben.h
- Ausgabefenster öffnen
- Video ausgeben
ConfigLesenSchreiben
- string in eine .ini Datei schreiben
- string aus einer .ini Datei lesen

Programmablaufpläne für die Simulationsumgebung

Autoren: Hagen Heuer, Tim Kruse
Um die Programmierung der Simulationsumgebung zu vereinfachen, wurden ein Programmablaufplan für das Hauptprogramm entwickelt. Zudem wurden Programmablaufpläne für die benötigten Funktionen entworfen.

Programmablaufplan für die main.c

Abb. 3 Hauptprogramm Teil 1
Abb. 4 Hauptprogramm Teil 2

Im Hauptprogramm werden zunächst alle Variablen initialisiert und Parameter an Funktionen übergeben. Anschließend wird in einer Schleife der nächste Frame geladen und die Transformation durchgeführt. Für den Fall, dass die Taste für den Abbruch gedrückt wird, wird das Programm beendet. Die While-Schleife wird so implementiert, dass sie sich nicht selbst beenden kann. Der Abbruch erfolgt durch einen Sprung aus der Schleife.

Programmablaufpläne für die Ausgabe

Abb. 5 FA_InitVideo
Abb. 6 FA_Ausgabe

In der Funktion FS_InitVideo werden die Ausgabefenster, welche bei Übergabe festgelegt wurden, geöffnet. In diesen Fenstern wird das später Video dargestellt.

In der Funktion FS_Ausgabe wird das Video im jeweiligen geöffneten Fenster ausgegeben.

Programmablaufpläne für das Lesen

Abb. 7 load
Abb. 8 FL_GetFrame

In der Funktion FL_Load wird das ausgewählte Video eingelesen. Für den Fall, dass das einlesen nicht erfolgreich war, wird ein Text ausgegeben und die Transformation abgebrochen.

In der Funktion FL_GetFrame wird zunächst die Funktion FL_Load aufgerufen, wenn noch kein Video geladen wurde. Anschließend wird der nächste Frame des Videos geladen und in eine Matrix geschrieben. Falls der Frame nicht geladen werden konnte, erfolgt eine Textausgabe und das Programm wird beendet.

Programmablaufpläne für die Bildtransformation

Abb. 9 BTF_ImgTransf
Abb. 10 regionOfInterest
Abb. 11 binarisierung
Abb. 12 imageTransformation

Die Funktion VP_ImgTrans wird aus der main.c aufgerufen und beinhaltet die Transformation in Vogelperpektive.

Zu Beginn wird abgefragt, ob ein RGB-Farbvideo ausgegeben werden soll. Falls ja erfolgt die Ausgabe des Videos. Anschließend wird die Funktion Region of Interest aufgerufen, in der der Bildausschnitt angepasst wird. Anschließend erfolgt eine Binarisierung, um ein Schwarz-Weiß Bild zu erhalten. Im letzen Schritt erfolgt die eigentliche Transformation in Vogelperspektive.

Mit Hilfe der Funktion Region of Interest wir zunächst der Dargestellte Bereich des Bildes angepasst. Hierbei wird sowohl das Fahrzeug aus dem Bild geschnitten, sowie der obere Teil des Bildes verkleinert. Hierfür werden als erstes Variablen initialisiert. Anschließend wird das Bild zugeschnitten. Im letzten Schritt erfolgt die Abfrage, ob das Video ausgegeben werden soll, sowie der Funktionsaufruf FS_Ausgabe.

Mit der Funktion Binarisierung wird aus dem RGB-Bild ein Binärbild erstellt. Dieses ist ein Schwarz-Weiß Bild. OpenCV bietet hierfür keine direkte Funktion an, weswegen zunächst ein Graustufenbild erstellt wird. Danach erfolgt die Abfrage, ob das Graustufenbild ausgegeben werden soll inklusive dem Funktionsaufruf FS_Ausgabe. Nun kann aus dem Graustufenbild das eigentliche Binärbild erstellt werden. Auch hierfolgt die Abfrage, ob das Video ausgegeben werden soll.

Im letzten Schritt wird das Binärbild mit der Funktion imageTransformation in die Vogelperspektive transformiert. Hierfür werden zunächst die Variablen initialisiert. Anschließend werden die Source- und Destination-Punkte festgelegt. Danach wird die Transformationsmatrix erstellt und im letzten Schritt die Transformation durchgeführt. Anschließend erfolgt wieder die Abfrage, ob das Video ausgegeben werden soll.

Abb. 4: Vergleich Originalbild und Vogelperspektive

Zurück zum Hauptartikel:
OSE - Objekt - und Spurerkennung