Projekt 81: Inbetriebnahme und Objekttracking des LiDAR-Lite v3

→ zurück zur Übersicht: WS 18/19: Fachpraktikum Elektrotechnik (MTR)

Autor: Isaac Mpidi-Bita und Thomas Miska
Betreuer: Prof. Schneider

Aufgabe

Inbetriebnahme eines Low-Cost- LiDAR sowie eine Objektbildung und -tracking zum visualisieren der aufgenommen Daten.

Erwartungen an die Projektlösung

Inbetriebnahme des LIDAR-Lite v3 von Garmin mit Arduino
Erstellung eines Matlab und Simulink Treibers zur Echtzeitverarbeitung
Recherchieren Sie geeignete Verfahren zur Objektbildung und zum Objekttracking
Setzen Sie eines dieser Verfahren um.
Bewertung der Ergebnisse mit geeigneter Referenz (z.B. Topcon Total Station)
Softwareentwicklung nach HSHL Standard in SVN
Darstellung der Funktion des LiDARs in einem YouTube Video
Test und wissenschaftliche Dokumentation
Live Vorführung während der Abschlusspräsentation

Hinweis: In Projekt 82 entsteht eine 3D-Schwenkeinheit. Beachten Sie, dass die 3D Daten des Sensors sowie die horizontale und vertikale Winkelmessung in Echtzeit verarbeitet werden muss. Stimmen Sie die Schnittstellen frühzeitig ab.

Einleitung

Im Rahmen des GET-Praktikums sollen Student eigene mechatronische Projekte erstellen und durchführen. Dabei sammeln Studenten eine erste Erfahrung in der Planung, Durchführung und Lösungen von spannenden Projekte, die in Ihren späteren Berufsleben begleiten werden. In dieser Artikel wird das Projekt 81 "Inbetriebnahme und Objekttracking des LiDAR-Lite v3" vorgestellt. Für die Carolo Cup AG der HSHL werden Ansätze zur Umgebungsüberwachung des Fahrzeuges benötigt. Dementsprechend hat sich das Team für ein LiDAR-System zur Objektdetektion und -Tracking. Dafür sind Kenntnisse in den Fachgebieten, wie Mechanik, Elektrotechnik und Informatik, erforderlich. Im späteren Einbau auf dem Fahrzeug wird eine 360-Grad Erfassung benötigt. Parallel zu diesem Projekt läuft das Projekt "3D-Schwenkeinheit für einen LiDAR-Lite v3", das die Halterung und den rotatorischen Teil des LiDAR-System konstruiert.

Projekt

Folgender Abauf wurde für das Projekt aufgestellt:
Planung:
Die Projektplanung erfolgt mittels Gantt-Chart, Lasten- und Pflichtenheft
Beschaffung:
Für die Beschaffung wird eine QV-Beschaffung genutzt, da der LiDAR nach Abschluss in der Carolo Cup AG genutzt wird. Die Auswahl des LiDAR Lite v3 entstand durch berücksichtig von Kosten, Lernerfolg und Anforderungen des Carolo Cup Hochschulwettbewerbs.
Durchführung:
Als erstes wurde die Möglichkeit der Programmierung eines LiDARs recherchiert. Um die Funktionsfähigkeit und die Messgenauigkeit des Sensor im Nahbereich sicherzustellen, wurden die vom LiDAR gemessenen Werte mit deren einer Gliedermaßstab verglichen. Desweiteren wurde die Genauigkeit des Sensor auf entfernte Objekten getestet. Eine besser geeignete Referenz stellte das von Bosch stammende Produkt BOSCH Laser-Entfernungsmesser GLM 50 dar. Anschließend wurde der Sensor auf verschiedenen Oberflächen,- wie durchsichtige, reflektierenden,- getestet. und Nach Durchführung mehreren Testen könnte man feststellen, dass der Sensor für die gewünschte Anwendung geeignet ist. Damit das Projekt nicht von der parallel-laufenden Projekt, war die Konstruktion eines provisorischen Schwenkeinheit notwendig.

Auf dem Breadboard wurde mit Hilfe der vorhandenen Datenblätter die Schaltung konzipiert. Diese haben wir in Fritzing erstellt und konnten anschließend unsere Bauteile anschließen

Für den LiDAR werden Programmablaufpläne erstellt und in Software umgewandelt.

Die Aufgaben werden des Projektes können in folgende Fachbereiche der Mechatronik eingeteilt:

Mechanik
- Bau einer temporären Prototypen Schwenkeinheit zu Testzwecken
- Funktionstest des Prototypen

Elektrotechnik
- Erstellung von Steckplatine und Schaltpläne
- Funktionstest auf korrekte Verdrahtung

Angewandte Mathematik
- Koordinatentransformation

Softwareentwicklung
- Programmierung Servomotoren und des LiDAR-Sensors
- Auswertung der erfassten Sensordaten
- Ausgabe in einem Diagramm
- Erstellen einer Point Cloud

Test:
In einem Abschließenden Test wird die Schwenkeinheit von Projekt 82 und der Software zusammen getestet. Für Notfälle wird eine provisorische Schwenkeinheit verwendet.
Präsentation und Dokumentation:
Das Projekt wird abschließend auf der Projektmesse am 18.01.2019 vorgestellt.

Projektplan

V-Modell

Materialbeschaffung

LiDAR Lite V3 von Garmin
2 x HS-422 Servomotor
Schwenkeinheit
Kondensator 680 μF

Verwendete Software

Arduino Software IDE 1.8.1
MATLAB/Simulink 2018a
Fritzing
Processing
Tortoise SVN

Technische Übersicht

Datenblätter

Datenblatt: LiDAR Lite V3
Datenblatt: HS-422

LiDAR-Lite v3

Eigenschaft	Daten
Abmessung	48 mm x 40 mm x 20 mm
Spannungsversorgung	4.75 V bis 6 V
Stromverbrauch	105 mA, Leerlauf 130 mA, kontinuerlich
Messbereich	40 m
Genauigkeit	+/- 2,5 cm
Schnittstelle	I2C oder PWM

Servomotor HS-422

Eigenschaft	Daten
Betriebsspannung	4.8V - 6.0V
Betriebsgeschwindigkeit (4.8V)	0.21sec/60°
Drehbereich	0-180°
Abmessung	40.6x19.8x36.6mm

LiDAR Funktionsweise

LiDAR steht für Light Detection Ranging. Der Sensor nutzt das optoelektrische Effekt zur Abstandsmessung. Anhand eines Transmitter wird ein Signal gesendet und vom Objekt reflektiert. Der Abstand wird in Abhängigkeit der Zeitdifferenz zwischen Senden und Empfang des Signals. Solch ein Verfahren wird Laufzeitverfahren genannt. Hier sendet der Sensor ein Laserstrahl aus und erhält nach einer unbestimmten Zeit durch eine Reflexion des Objektes den Strahl zurück. Allgemein lässt sich der zurückgelegte Weg des Stahls wie folgt berechnen:

$\ s\;=\;{v\,\cdot \Delta t}$

Dabei ist :
$s$ : der zurückgelegte Weg
$v$ : Geschwindigkeit

$\Delta t$ : Zeitdifferenz

Um der Abstand $d$ zu ermitteln, sollte man den zurückgelegten Weg $s$ halbieren. Ein weiterer zu betrachtenden Aspekt ist, dass der Laser Strahl sich mit Lichtgeschwindigkeit ausbreitet. Die konstante für Lichtgeschwindigkeit hat den Wert $299.792.458 m/s$ . Damit lässt sich der Abstand $d$ folgendermaßen berechnen:

$\ d\;=\;{\frac {c\,\cdot\Delta t}{2}}$

Dabei ist :
$d$ : Abstand bzw. Distanz
$c$ : Lichtgeschwindigkeit

$\Delta t$ : Zeitdifferenz

In der Wirklichkeit müssen zusätzliche Aspekte betrachtet werden. Auf Oberflächen, wie zum Beispiel Flächen mit großen Rauheit, verhält sich das Licht anders. Man sagt, die Wellenlänge "reflektiert diffus". Dabei kann reflektierendes Licht zu einem späteren Zeitpunkt empfangen werden. Die Formel lässt sich folgendermaßen umschreiben:

$\ d\; \geq\;{\frac {c\,\cdot\Delta t}{2}}$

Dabei ist :
$d$ : Abstand bzw. Distanz
$c$ : Lichtgeschwindigkeit

$\Delta t$ : Zeitdifferenz

Diffuses Licht

Hardwareaufbau

Schaltplan

Steckplatine

Projektcode und Mathematische Hilfsmittel

Koordinatentransformation

Für die Darstellung des Bildes werden Punkte einzeln erfasst. Ein Punkt wird in der kartesischen Koordinatenform mit $x$ -, $y$ -, und $z$ -Wert $P = (x,y,z)$ gekennzeichnet. In diesem Projekt werden zwei Servomotoren und ein LiDAR Lite v3 zur Ermittlung von Punkten verwendet. Die Punkte werden schlussendlich in Kugelkoordinaten dargestellt. Der von LiDAR ermittelte Abstand wird als Radius $r$ , der obere und der untere Servomotor werden jeweils mit $\theta$ und $\varphi$ bezeichnet. Für die spätere Montage im Fahrzeug des Carolo Cup AG wird an der Konvention eines Fahrzeugkoordinatensystem angenommen. Deshalb benennen wir bereits in dieser Projekt $\varphi$ als YAW-Winkel und $\theta$ als PITCH-Winkel. Ein Koordinatensystem spielt eine wichtige Rolle. Die Umrechnung von Kugelkoordinatensystem ins kartesische erfolgt durch:

{\displaystyle \begin{array}{cll} x &=& r \cdot \sin \theta \cdot \cos \varphi \\ y &=& r \cdot \sin \theta \cdot \sin \varphi \\ z &=& r \cdot \cos \theta \end{array} }

Für die Vorführung wird das LiDAR-System nicht verwendet werden. Hierfür wird ein Darstellung des Raums nachgebildet. Aus diesem Grund wird eine andere variante der Repräsentation der Kugelkoordinaten angewendet. Hierfür wird die Geographischen Koordinatensystem angewendet. Der Unterschied liegt an die Richtung des Winkel $\theta$ . Der Winkel $\theta_{neu}$ eilt um $\frac{\pi}{2}$ vor. Und somit $\theta_{neu} =\frac{\pi}{2} - \theta$ . In der Allgemeine Formel eingesetzt, erhalten wir:

{\displaystyle \begin{array}{cll} x &=& r \cdot \sin (\theta_{neu}) \cdot \cos \varphi \\ y &=& r \cdot \sin (\theta_{neu}) \cdot \sin \varphi \\ z &=& r \cdot \cos (\theta_{neu}) \end{array} }

Mit der Erkenntnis, dass Sinus und Cosinus ebenfalls um $\frac{\pi}{2}$ phasenverschoben sind, können wir die Gleichungen darstellen:

{\displaystyle \begin{array}{cll} x &=& r \cdot \cos \theta \cdot \cos \varphi \\ y &=& r \cdot \cos \theta \cdot \sin \varphi \\ z &=& r \cdot \sin \theta \end{array} }

Die Koordinatentransformation lässt sich in MATLAB folgendermaßen implementieren:

function [x y z] = transformCoord2(radius, yawAngle, pitchAngle)
   % transformCoord2- Description
   % Die Funktion wandelt die Messpunkte von Kugelkoordinaten 
   % ins kartesische
   % Syntax: [x y z] = transformCoord2(radius, yawAngle, pitchAngle)

   %% Winkelumrechnung von Degree zu Bogenmaß
   theta = double(pitchAngle * pi / 180);  
   phi = double(yawAngle * pi / 180); 

   %% Koordinatentransformation
   x = radius * cos (theta) * cos (phi);
   y = radius * cos (theta) * sin (phi);
   z = radius * sin (theta);

end

Flussdiagramm

Steuerung mit Arduino IDE

Die erste Inbetriebnahme des Sensors wurde mit der Arduino IDE durchgeführt. Dieser Schritt diente der ersten praktischen Auseinandersetzung mit dem Sensor, sowie ein Funktionstest des Sensors mit dem geplanten Schaltplan.

Der folgende Code ermöglicht ein 3D-Scan in einem 180° Drehbereich (bedingt durch die Servomotoren).

void loop() {
  //Sweep Yaw servomotor
  for (yawAngle = 0; yawAngle <= 180; yawAngle += YAW_STEP) {
    servoYaw.write(yawAngle);
    
    //Sweep Pitch servomotor. 
    if(pitchAngle < 90){
      for (pitchAngle = 0; pitchAngle <= 180;pitchAngle+= PITCH_STEP){
        servoPitch.write(pitchAngle);
        sendeDaten();
      }
    } else {
      for (pitchAngle = 180; pitchAngle >= 0;pitchAngle-= PITCH_STEP){
        servoPitch.write(pitchAngle);
        sendeDaten();
      }
    }
  }
}

void sendeDaten(){
  // Daten aufnehmen, konvertieren und an Schnittstelle bereitstellen
  [...]

}
end

Um die Messwerte visuell darstellen zu können, wurde ein zusätzliches Programm verwendet. Das Programm heißt Processing und erstellt aus diesen Messwerten eine PointCloud. Mit dieser PointCloud konnte anschließend ein 3D Plot erstellt werden. Nachfolgend befindet sich der Code für das erstellen der PointCloud.

void draw() {
 
   [...]

  // Lese serielle Schnittstelle
  String serialString = serial.readStringUntil('\n');
  if (serialString != null) {
    String[] coordinates = split(serialString, ' ');
    if (coordinates.length == 3) {
      pointList.add(new PVector(float(coordinates[0]), float(coordinates[1]), float(coordinates[2])));
    }
  }
 
  // zeichne Point-Cloud
  for (int index = 0; index < pointList.size(); index++) {
    PVector v = pointList.get(index);
    if (index == pointList.size() - 1) {
      // Draw a line between Lidar and last point
      stroke(255, 15, 15);
      line(0, 0, 0, v.x,v.y,v.z);
    }
    // Draw point with a variable color
    stroke(255-v.z, 255-v.y, 255-v.x);
    point(v.x, v.y, v.z);
  }
}

[...]

Durch diesen ersten erfolgreichen Test konnten wir nun Probleme erkennen und diese im Verlauf des Projektes berücksichtigen. Probleme die uns aufgefallen waren:

Arduino in seiner Leistung eingeschränkt
Koordinatentransformation wird benötigt
Der LiDAR ist in seinem Messbereich eingeschränkt

Einbindung von MATLAB

Nach der ersten erfolgreichen Durchführung mit dem Arduino Code, wurde dieser in MATLAB/Simulink umgesetzt. Dabei stellte sich heraus, dass wir die Bibliothek für den LiDAR Lite v3 benötigen. Schlussendlich haben wir das auslesen der LiDAR Lite Messwerte über die Arduino IDE durchgeführt und diese über die Serielle Schnittstelle dem MATLAB/Simulink Programm zur Verfügung gestellt.

%% Auslesen der Daten aus der serielle Schnittstelle 
disp('============================================================')
disp('                 Datenaufnahme vom Arduino                  ')
disp('============================================================')
tic;
for i=1:1:10000
    
    received = fgets(sObject);
    disp(i);
    
    %% Daten vorverarbeitung
    zwischenspeicher = strsplit(received,' ');
    rohdatenDouble(i,1)= cellfun(@str2double,zwischenspeicher(1));% Radius
    rohdatenDouble(i,2)= cellfun(@str2double,zwischenspeicher(2));% Yaw
    rohdatenDouble(i,3) = cellfun(@str2double,zwischenspeicher(3));% Pitch
    
    [transFdaten(i,1) transFdaten(i,2) transFdaten(i,3)] = transformCoord(...
                        rohdatenDouble(i,1), ...
                        rohdatenDouble(i,2), ...
                        rohdatenDouble(i,3));
end

dlmwrite('messwerte.xyz',transFdaten, 'delimiter','\t');

timePart = toc;
time = time + timePart;
disp('============================================================')
disp('Die Messdaten wurde erfolgreich aufgenommen und gespeichert.')
disp(['         benötigte Zeit: ', num2str(timePart), ' Sekunden'] )
disp('============================================================')

Ergebnis

Bildliche Darstellung der Ergebnisse

Um die Messwerte bildlich darzustellen wurde mit MATLAB verschiedene Plots erstellt. Dabei sind die Ergebnisse aus unserem Testaufbau entstanden. So ist in der ersten Darstellung ein LivePlot entstanden, welcher die Messwerte direkt in das Diagramm einzeichnet. Dabei ist jedoch anzumerken, dass die Daten auf der y-Achse gespiegelt sind. Eine andere Darstellung folgte nach Programmabschluss über die Point Cloud. Durch die Bibliothek in Matlab kann man eine Point Cloud direkt erstellen lassen. Das dargestellte Diagramm entspricht dem Aufbau auf dem Bild.

Live-Plot der Messwerte

Plot der Messwerte mit PointCloud

Echtzeit-Ergebnis

                         Initialisierung                        
                    Initialisierung erfolgreich                 
                  benötigte Zeit: 0.3951 Sekunden

                    Datenaufnahme vom Arduino                  
    Die Messdaten wurde erfolgreich aufgenommen und gespeichert.
                  benötigte Zeit: 729.4195 Sekunden

                        Messdaten laden 
                 Laden der Daten erfolgreich.                 
               benötigte Zeit: 0.15703 Sekunden

                    Ausgabe der Ergebnissen                      
                      Ausgabe erfolgreich                           
                benötigte Zeit: 3.7837 Sekunden
                benötigte Zeit: 3.7837 Sekunden

                Programm erfolgreich ausgeführt                                    
         benötigte Zeit für die komplete Ausführung: 733.7553 Sekunden

Zusammenfassung

Lessons Learned

Während unseres Projektes konnten wir einige Sachen lernen. Eine gute Projektplanung garantiert nicht, dass diese auch eingehalten werden kann. Viele unvorhergesehene Probleme können den Plan verzögern, sodass eine Abweichung vom Projektplan schlussendlich unausweichlich war. Trotzdem ist eine Projektplanung ein guter Anhaltspunkt um strukturiert zu arbeiten und zu planen. Neben diesen Aspekt konnten wir uns sehr gut in die Funktionsweise eines LiDARS Theorietisch wie auch Praktisch einarbeiten. Dabei wurden Vorteile, wie auch Nachteile eines LiDARS entdeckt. Auf dem Weg der Programmierung lernten wir Mathematische Hilfsmittel wie die Koordinatentransformationen oder Darstellungsmöglichkeiten wie der Point Cloud umzusetzen. Schlussendlich war auch die Wahl zwischen einem günstigen oder teurem Servomotor sehr lehrreich, da auch hierbei gilt, dass es manchmal notwendig ist, ein teureres Produkt zu verwenden. Das günstige Modell war von der Genauigkeit nicht ausreichend und lieferte viele Fehler.

Ausblick

In Zukunft sollte der LiDAR andere Fahrzeuge erkennen und somit das Carolo Cup AG Fahrzeug beim Umgehen von Hindernissen behilflich sein. Ein SLAM Algorithmus ist ebenfalls in Zukunft denkbar um die verwendete Rechenleistung nach einigen Runden auf ein Minimum zu reduzieren.

Projektunterlagen

Projektunterlagen im SVN

YouTube Video

Youtube-Video

Weblinks

Literatur

Lothar Papula: Mathematik für Ingenieure und Naturwissenschaftler - Anwendungsbeispiele: 222 Aufgabenstellungen aus Naturwissenschaft und Technik mit ausführlich kommentierten Lösungen. Verlag: Wiesbaden : Vieweg+Teubner Verlag, 2012, ISBN: 9783834821294.

Reinhard Lerch: Elektrische Messtechnik Analoge, digitale und computergestüzte Verfahren. Springer-Verlag Berlin Heidelberg 2007, ISBN 978-3-540-73610-3.

Lars Schnell: LiDAR – Funktionsweise und Anwendungsgebiete in der VFX-Industrie Bachelorarbeit im Studiengang Audiovisuelle Medien. Hochschule der Medien Stuttgart, 2016, url: [1]

--- → zurück zur Übersicht: WS 18/19: Fachpraktikum Elektrotechnik (MTR)