Mono-Vision für ein autonomes Fahrzeug

Aus HSHL Mechatronik
Zur Navigation springen Zur Suche springen
Abb. 1: Basler GigE Vision System
Autor: Nils Koch
Modul: Projektarbeit, MTR-B-2-6.01
Starttermin: 29.01.2024
Abgabetermin: 31.05.2024
Prüfungsform: Modulabschlussprüfung als Hausarbeit (Praxisbericht, Umfang 30-50 Seiten Textteil)
Betreuer: Prof. Dr.-Ing. Schneider, Tel. 806
Mitarbeiter: Marc Ebmeyer, Tel. 847

Einführung

Für das SDE Praktikum werden drei autonome Fahrzeuge im Maßstab 1:10 aufgebaut. Zwei davon verfügen bereits über dieselbe Kamera (). Da diese nicht mehr lieferbar ist, wird das dritte Fahrzeug mit einer Basler acA2000-50gc Kamera ausgestattet. Die Bildverarbeitung soll zukünftig für alle Systeme identisch sein. Bei Start der Kamerasoftware auf dem Fahrzeug-PC soll die verbaute Kamera automatisch identifiziert werden und die dazugehörigen Parameter geladen werden.

Aufgabenstellung

  1. Einarbeitung in das bestehende System
  2. Morphologischer Kasten der möglichen Optionen (Version von openCV, VisualStudio, Kameratreiber, x64,...)
  3. Bewertung und Auswahl einer Option - Besprechung mit Prof. Schneider
  4. Umsetzung in Visual Studio mit OpenCV
  5. Übernahme der bestehenden Bildverarbeitungssoftware im neuen System
  6. Systemtests (Kompatibilitätstests) aller 3 Fahrzeuge
  7. Optimierung
  8. Dokumentation im HSHL-Wiki


Anforderungen

Das Projekt erfordert Vorwissen in den nachfolgenden Themengebieten. Sollten Sie die Anforderungen nicht erfüllen müssen Sie sich diese Kenntnisse anhand im Rahmen der Arbeit anhand von Literatur/Online-Kursen selbst aneignen.

  • Bildverarbeitung mit openCV
  • Programmierung C++
  • Dokumentenversionierung mit SVN

Anforderungen an die wissenschaftliche Arbeit

SVN-Repositorium

Getting started

Lesen Sie zum Einstieg diese Artikel

Projektplan

Stand 07.08.: Die Einarbeitung in die Kamera, sowie die API und das bestehende System sind abgeschlossen; eine Inbetriebnahme mittels Visual Studio war ohne die Nutzung von openCV möglich; die Integration in die bestehende Software läuft

Auswahl Kamerasoftwareversion

Für die Kamerasoftware und das damit verbundene Software Development Kit werden 3 unterschiedliche Versionen in Betracht gezogen. Die Version 5.0.12 ist aktuell auf den Laborrechnern instaliert. Die Version 6.1.1 ist die aktuellste Version, welche mit 32-bit Betriebssystem kompatibel ist und die Version 7.4.0 ist die aktuellste verfügbare Version (Stand 04.03.2024). Um die Software zu testen wurde die Kamera zunächst über ein Ethernet-Kabel an einen Laborrechner angeschlossen und über den pylon Viewer ein Video gestartet.

Hierbei traten bei der ältesten Version schon gravierende Probleme auf, welche einen praktischen Einsatz dieser Version unmöglich machen. Der Versuch die Fehler zu beheben blieb erfolglos. Die auftretende Fehlermeldung empfielt das Inter-Packet Delay, also die Zeit zwischen zwei gesendeten Datenpaketen, zu erhöhen, was den Fehler zwar eleminiert, aber die Bildrate erheblich verringert (3-10 fps) und die Reaktionszeit deutlich erhöht (3-5 sek). Mit diesen Werten ist ein Einsatz zur Bildverarbeitung schlicht unmöglich.

Die Versionen 6.1.1 weist in diesem Test nur geringfügige Störungen auf. Etwa 0,5% der Frames können nicht richtig übertragen werden. Eine weitere Untersuchung dieser Fehler findet zunächst nicht statt, da eine andere Version nutzbar ist. Außerdem ist die Bildrate etwas geringer als die der Version 7.4.0.

Auch die Version 7.4.0 läuft zunächst nicht störunggsfrei. Zu Beginn läuft die Videoübertragung problemlos. Hierbei kann eine Bildrate von 24 fps kontimuiertich gehalten werden. Auch die Reaktionszeit ist mit deutlich unter einer Sekunde gut. Nachdem jedoch ca 4.300 Frames übertragen wurden, also nach ca. 180 Sekunden, verliert das Programm plötzlich die Verbundung zur Kamera. Eine Fehlermeldung des Programms empfiehlt den GigE Configurator auszuführern. Nachdem dieser ausgeführt wurde, tritt das Problem nicht mehr auf. Nach einigen weiteren Tests ergab sich, dass das Problem behoben werden kann, indem die IP-Adresse der Kamera manuell auf einen statischen Wert festgelegt wird. Die Version 7.4.0 kann also genutzt werden.

Übersicht der überprüften Versionen
Version Probleme Bilder
Pylon 5.0.12 Fehler bei der Datenübertragung; Bildfehler; Verbindungsverlust
Datenübertragungs- und Verbindungsprobleme
Bildfehler
Pylon 6.1.1 Fehler bei Datenübertragung
Kamerabild mit Fehler-Log
Pylon 7.4.0 Plötzlicher Verbindungsverlust nach ca. 3 Minuten; vorher problemfreie Übertragung
problemfreie Übertragung


Aktualisierung auf pylon Version 8.0.2

Während der Laufzeit des Projekts wurde durch Basler eine aktualisierte Version der pylon Software herausgebracht. Da diese Version ebenfalls stabil läuft und weitere, in der Zukunft potenziell nützliche Funktionen für die CBaslerUniversalInstantCamera Klasse implementiert, wurde beschlossen die Software zu aktualisieren. Hierbei ist zu beachten, dass zunächst die vorherige Version von pylon deinstalliert werden muss. Nachdem diese deinstalliert ist, muss sichergestellt werden, dass die Systemumgebungsvariable $(PYLON_DEV_DIR) hierbei gelöscht wurde, da sonst keine Installation der neuen Version erfolgen kann. Anschließend sollte der Rechner einmal neugestartet werden. Anschließend kann die aktuelle Version 8.0.2 installiert werden. Während der Installation sollte das Profil "Developer" ausgewählt werden, um den vollen Funktionsumfang zu installieren. Die Systemumgebungsvariable $(PYLON_DEV_DIR) sollte hierbei automatisch wieder angelegt werden. Sollte dies nicht der Fall sein, muss diese manuell angelegt werden. Das vorgehen ist hierbei identisch zur Installation der openCV-Umgebungsvariable, nur dass der Name $(PYLON_DEV_DIR) und der Wert $Pylon Installationsverzeichnis\pylon8\Development sein muss; "Pylon Installationsverzeichnis" muss hierbei durch das lokale Installationsverzeichnis (z.B. C:\Program Files\Basler) ersetzt werden.

Es ist nicht ungewöhnlich, dass die Installation nicht im ersten Anlauf funktioniert. In diesem Fall muss zunächst über die Windows Funktion "Programme hinzufügen und entfernen" der Eintag "pylon 8 Camera Software Suite" wieder deinstalliert werden. Anschließend kann die Installation erneut gestartet werden.

Installation openCV

openCV ist eine Softwarebibliothek, welche in den AMRn genutzt wird, um die Kamerabilder -möglichst in Echtzeit- zu verarbeiten. Hierfür stellt die Bibliothek verschiedene Klassen und Funktionen bereit, welche im Modul Objekt- und Spurerkennung genutzt werden. Um diese Funktionen allerdings nutzen zu können, muss die Bibliothek zunächst auf dem PC installiert werden. Um den vollen Funktionsumfang nutzen zu können, ist die Installation mittels CMake erforderlich. Für unseren Anwendungsfall ist die Installation der Prebuild-Libaries jedoch ausreichend.

Die genutzte Version 4.10.0 kann für Windows hier heruntergeladen werden. Wenn die .exe nach dem Download gestartet wird, muss nur ein Ziel für die Installation ausgewählt und mit "Extract" bestätigt werden.

Sobald die Installation abgeschlossen ist, ist es wichtig zu beachten, dass Visual Studio, bzw. das jeweilige Projekt auf die Bibliothek zugreifen kann. Hierfür ist die Angabe eine Dateipfads in den Projekteigenschaften nötig. Dieser ist für die bestehenden Projektdateien als $(OPENCV_DIR)\..\..\include festgelegt. Dabei handelt es sich bei $(OPENCV_DIR) um eine System-Umgebungsvariable. Damit diese von Visual Studio korrekt interpretiert werden kann, muss diese in den Systemeinstellungen des PCs angelegt werden.

Hierfür muss über die Windows-Systemeigenschaften im Reiter "Erweitert" das Fenster Umgebungsvariablen geöffnet werden. Hier muss in der Liste "Systemvariablen" zunächst die Variable "Path" ausgewählt werden. Über den Button "Bearbeiten..." wird ein weiteres Fenster geöffnet. Hier muss über den Button "Neu" der Wert Installationsverzeichnis OpenCV\build\x64\vc16\bin(Installationsverzeichnis OpenCV bitte durch das lokale Installationsverzeichnis ersetzen; z.B. D:\opencv) hinzugefügt werden.

Nachdem die Änderung mit dem Button "OK" übernommen wurde, muss über den Button "Neu..." im Bereich Systemvariablen eine weitere Systemvariable hinzugefügt werden. Als Name muss OPENCV_DIR vergeben werden. der Wert muss Installationsverzeichnis OpenCV\build\x64\vc16\ sein (auch hier Installationsverzeichnis OpenCV durch das tatsächliche lokale Installationsverzeichnis ersetzen).

Eine detaillierte Schritt-für-Schritt Anleitung auf Englisch inkl. Bebilderung ist hier in Kapitel 3 zu finden: Erste Schritte mit pylon und OpenCV (Bitte beachten, dass andere Pylon- und OpenCV-Versionen verwendet werden und einige Variablen dadurch abweichen können).

Inbetriebnahme der Kamera über ein VS-Projekt

Plattformtoolset in den Projekteigenschaften

Dank guter Beispielprogramme des Herstellers, sowie einer umfassenden Dokumentation war das Erstellen eines einfachen Programmes, welches die Kamera startet, wichtige Einstellungen vorgibt, und anschließend das Livebild der Kamera anzeigt ohne größere Probleme möglich. Das Kamerabild ist flüssig und die Übertragung läuft auch über längere Zeit störungsfrei. Die Verzögerung ist minimal.

Das Programm ist im SVN-Repository zu finden. Das Programm wurde ursprünglich in VS2022 erstellt, kann jedoch auch mit VS2019 kompiliert werden. Hierfür muss das jeweils installierte Plattformtoolset (v143 für VS2022 und v142 für VS2019) in den Projekteigenschaften ausgewählt werden (siehe Abbildung rechts). Außerdem muss Basler Pylon in der aktuelle Version 8.0.2 oder neuer installiert sein. Hierfür wird bei der Installation der Software automatisch eine Systemvariable $(PYLON_DEV_DIR) vergeben, damit nur ein allgemeiner Verweis im Projekt nötig ist.

Integration der Kamera in das bestehende Projekt

Nach der erfolgreichen Inbetriebnahme, steht nun die tatsächliche Integration in das bestehende Projekt an. Hierfür wurde im SVN-Repositorium der Branch 2024_07_13_OSE_Einbindung_neue_Kamera angelegt, in welchem die Integration schrittweise durchgeführt wird.

Nachdem die alten Befehle für die VRmagic Kamera durch die für die Basler Kamera ersetzt wurden, sowie erste Syntax- und Laufzeitfehler behoben wurden, lies die Kamera sich relativ problemlos in Betrieb nehmen. Hierbei kam es allerdings zu einer sehr niedrigen Bildrate von etwa einem Bild pro Sekunde, was vermutlich darauf zurückzuführen ist, dass die zu verarbeitende Datenmenge sich durch die neue Auflösung von 2046x1086 (zum Vergleich vorher 752x478) Pixel etwa auf das 6,2-Fache angestiegen ist. Um die Datenmenge zu reduzieren wurden die Bilder vor der Bildverarbeitung zunächst im Programm auf 1023x543 Pixel herunterskaliert, da eine Reduktion der Auflösung direkt an der Kamera nicht möglich ist. Diese Maßnahme brachte eine Verbesserung auf etwa 10 Bilder pro Sekunde.

Zusätzlich könnte an der Kamera eine Reduzierung des AOI (Area of interest) vorgenommen werden. Dies hätte zur Folge dass nur ein bestimmter Ausschnitt des Bilds übertragen wird. So müssten ungenutzte Bildteile erst gar nicht verarbeitet werden. Dies ist jedoch erst dann sinnvoll möglich, wenn die Kamera am Fahrzeug angebaut wurde. Außerdem wäre es möglich das Bild von der Kamera direkt in Graustufen zu erhalten, wodruch in der Bildverarbeitung auf das umwandeln von RGB in Graustufen verzichtet werden könnte, was Rechenleistung am PC und damit Zeit sparen würde. Da die Umwandlung von RGB in Graustufen im aktuellen Build jedoch weniger als 1 ms dauert, ist das Einsparpotential hier relativ gering.

Installation der Kamera an Fahrzeug 2(weiß)

Vorgefundener Status:

  1. Pylon 7 Camera Software Suite 7.4.0.14900 installiert
  2. Pylon Runtime 7.4.0.14900 installiert
  3. Kamera: VR Magic

Änderungen 23.01.2025:

  1. Kamera ausgetauscht durch Basler acA2000-50gc
  2. Pylon 7.4.0 deinstalliert
  3. pylon 8.0.2.16314 installiert
  4. openCV 4.10.0 installiert

Nützliche Artikel

→ zurück zum Hauptartikel: Studentische Arbeiten

Abgerufen von „https://wiki.hshl.de/wiki/index.php?title=Mono-Vision_für_ein_autonomes_Fahrzeug&oldid=131780“