Benutzer:Dennis.fleer@stud.hshl.de

Einleitung

Das ist meine Website, hier lege ich eine Demo für die überarbeitete Version des Artikels Objekterkennung mit LIDAR.

Die Objekterkennung mit Laserscanner ist einer der Arbeitsbereiche des SDE-Praktikums. Die Tätigkeit besteht aus Auswertung der Rohdaten und umformen dieser in eine Objektliste, welche Daten zu den vom Laserscanner erfassten Objekten enthält. Im Wintersemester 2014/2015 wurde dieses Themena von Michael Deitel und Manuel Groß bearbeitet. Die Vorarbeit zu diesem Thema wurde von Jens Ruhrlaender geleistet. Das Thema wurde im Wintersemester 2022/2023 von Patricio Emiliano Hernandez Murga und Moritz-Ben-Joe Kühnrich neu aufgerollt. Dennis Fleer übernimmt nun das neue Framework und führt das Projekt fort.

Anforderungen

Aufgrund der Requirements im Lastenheft des Praktikums ergeben sich für das LiDAR-System folgenden Anforderungen:

REQ10.2330:
1. Erkennung von statischen Hindernissen
2. Zu erkennende Hindernisse haben eine Feste Abmessung (Pappkartons 31cm x 22cm)
3. Erkennung der Position der Hindernissen
REQ10.2350:
4. Erkennung von dynamischen Hindernissen
5. Erkennung der Geschwindigkeit der dynamischen Hindernissen
6. Erkennung der Orientierung der Boxen
REQ10.3170:
7. Lernen des Rundkurses
Aus der Kommunikation und Rücksprache mit anderen Gruppen:
8. Errechnung eines Vertrauenswert für die Objekte

Aktueller Stand

Der aktuelle Stand 07.11.2024 ist, dass sich sowohl das Framework als auch die Unit-Test in Matlab beide Funktionsfähig sind. Die Dokumentation wurde weiten Gehens umgesetzt, wird allerdings fortlaufend gepflegt.

Folgende Punkte sind aber noch zu verbessern:

• Die Funktionalität kann nun gemäß den Anforderungen weiter ausgebaut werden.
• Die Wiki Artikel können noch detaillierter werden und mehr verweise vertragen

Hardware

Komponenten Spezifikationen

Zur Objekterkennung mittels LIDAR wird der Laserscanner URG-04LX der Firma Hokuyo verwendet.

Laserscanner URG-04LX (Originaldatei)

Inbetriebnahme

Im Praktikum stehen zwei Laserscanner zur Verfügung. Ein auf dem Fahrzeug verbauter und ein nicht verbauter zum Testen ohne das Fahrzeug für andere Teams zu blockieren. Mit beiden können die nachfolgenden Programme ausgeführt werden. Der Lidar, der auf dem Fahrzeug verbaut wurde ist mit schwarzem Klebeband oben abgeklebt (Klebestelle im Bild grüner Pfeil), da die ansonsten sichtbaren weißen Linien auf dem Lidar die Kamera irritieren. Der Lidar ist am Fahrzeug mit 2 Schrauben befestigt (siehe rote Pfeile im Bild).

Beim erstmaligen Anschluss werden die Treiber nicht automatisch installiert. Diese müssen manuell eingebunden werden. Die Treiber sind im SVN unter

Um den LiDAR dann über C/C++ zu verwenden muss die dazugehörige URG-Bibliothek eingebunden werden. Eine detaillierte Anleitung dafür befindet sich hier

Bei der Entwicklung des LiDARs ist nach ne V-Modell vorgegangen worden.

Software

Funktionaler Systementwurf

Hier wird der grobe Ablauf des LiDAR-Systems gezeigt

1. Einlesen der LiDAR-Daten
2. Erkennung der Boxen aus den Daten
3. Tracking der Boxen
4. Weitersenden an die dSPACE-Karte

Technischer Systementwurf

Hier wird der eben funktionale Systementfwurd weiter ausgeführt.

1. Die LiDAR-Daten werden ausgelesen, diese werden dann in Polar-Koordinaten ausgeben
2. Die LiDAR Punkte werden mithilfe eines Sucessive Edge Following(SEF) Algorithmus segmentiert. Es entstehen L-Shapes
3. Die Segmente werden gefiltert, sodass nur L-Shapes verarbeitet werden, Diese werden zu Objekte verarbeitet
4. Die Objekte sollen getrackt und gefiltert werden
5. Die 5 wichtigsten Objekte werden über die RS-232 Schnittstelle an die dSpace-Karte geschickt

Einstieg

Um mit dem Framework weiterzuarbeiten, empfiehlt es sich die mit Doxygen generierte Dokumentation des C-Codes anzuschauen und den Wiki-Artikel gründlich zu lesen.

Doxygen

Nach einer Anpassung im Quellcode des Frameworks, muss die Dokumentation neu generiert werden, dafür folgen sie bitte dem Quickstart Doxygen.

Der generierte Code wurde in die Visual-Studio-Projektmappe LiDAR-Framework eingefügt. Dieses C-Projekt wurde mit Doxygen dokumentiert.

Lidar-Framework

Hier soll eine detaillierte Beschreibung des Frameworks hin und wie man es bedienen kann. Außerdem muss hier die Verlinkung zur Dokumentierung des Quellcodes mit Doxygen hin.

Es wurde ein Framework erstellt, dies hält das Programm modular und es ist sehr einfach eine anderen LiDAR-Sensor einzupflegen. Das LiDAR Framework ist wie folgt aufgebaut

Die Klassenstruktur sieht wie folgt aus. Der LidarA1M8 ist hier nur ein Beispiel, für diesen existiert keine Implementierung.

Es wurde auch ein LiDAR-Simulationsobjekt erstellt. Um einen weiteren LiDAR einzupflegen muss lediglich die virtuelle Klasse "Sensor-Lidar" implementiert werden. Weiteres ist in der Doxygen-Dokumentation zu finden!

Segmentierung

Eingang:
- LiDAR-Daten
Ausgang:
- Liste aus L-Shapes, ein L-Shape ist dabei ein Struct, bestehend aus: ID und dem linkesten Punkt, dem rechtesten Punkt und dem nächsten Punkt.
Einzustellende Parameter:
- Minimale Punktanzahl pro Segment
- Maximaler Abstand zwischen zwei Punkten des Segments
- Filterung des Nahbereichs wegen der Reflektion an der Sensorkappe
Ablauf:
In der Segmentierung sollen die LiDAR Daten segmentiert mithilfe eines Successive Edge Following Algorithmus zu L-Shapes und diese werden auf das Fahrzeug-Koordinatensystem umgerechnet werden.

Objektbildung

Eingang:
- L-Shapes
Ausgang:
- Objektliste
Einzustellende Parameter:
- Prozentuale Abweichung des Winkels zwischen zwei Schenkeln, damit das L-Shape als Box mit zwei sichtbaren Seiten erkannt wird
- Schwellwert für den Winkel, damit das L-Shape als eine Linie behandelt wird
- Abweichung der Abmessung damit L-Shape noch als Box gewertet wird
- Vertrauenswert-Abzüge falls Tiefe, Breite oder Winkel nicht aus dem L-Shape ermittelbar sind
Ablauf:
Die Objektbildung filtert alle L-Shapes die als Box in Frage kommen. Dabei wird unterschieden ob das L-Shape eine Linie darstellt oder eine zwei Seiten einer Box. Dies geschieht über den Winkel der zwei Schenkel des L-Shapes. Daraufhin wird überprüft die Abmessungen des L-Shapes mit dene einer Box übereinstimmen, wenn nicht, dann wird das Objekt verworfen. Je nachdem wie viel von der Box zu sehen sind und anhand der Geometrie wird dann ein Vertrauenswert errechnet.

Tracking

Eingang:
- ObjektListe
Ausgang:
- Trackliste
Einzustellende Parameter:
- Distanz zum Gating zwischen einer Box aus dem letzten Frame und dem aktuellen Frame
- Maximale Strikes die ein Track haben darf, bevor es rausfliegt
- TP-alpha für die Position
- TP-alpha für die Ausrichtung
Ablauf:
Im Tracking sollen erst die aktuelle Objekt der Trackliste zugeordnet werden, dann werden mit einem euklidischen Gating neue Objekte identifiziert, sowie Objekt die in der Trackliste stehen im aktuellen Frame aber nicht mehr zu sehen sind. Diese Tracks erhalten dann einen Strike, falls eine Objekt mehr Strikes als zugelassen hat, fliegt es aus der Trackliste raus. Neue Objekte werden der Trackliste hinzugefügt. Auf die getrackten Objekte wird dann die Position und die Ausrichtung mit einem Tiefpassfilter gefilter.

Matlab Unit-Tests

Hier soll eine detaillierte Beschreibung der Matlab Simulationen hin und wie man diese bedient. Außerdem soll zu jeder Simulation eine Erklärung, was die Daten am Ende aussagen sollen.

Für alle Module gibt es eine eigenes Testmodul. Zusätzlich gibt es auch ein Testmodul für das Gesamtkonzept. In den jeweiligen Testmodulen ist es möglich sowohl einzelne Frames diverser Testmessungen durchzugehen, als auch ein Live-Visualisierung. Das Gesamt-Testmodul kann zusätzlich direkt mit dem LiDAR arbeite, dafür muss der Parameter für den COM-Port in der Funktion "sweepLidar" angepasst werden. Umschalten zwischen den Modi ist möglich über eine Schaltvariable in dem Gesamt-Testmodul. Die Testmodule sind hier zu finden:
Modultest-Segmentierung und Objektbildung
Modultest-Tracking
Gesamt-Testmodul