SoSe24 - Praktikum Systementwurf - Spurerkennung mit Kamera (Modul OSE): Unterschied zwischen den Versionen
(71 dazwischenliegende Versionen desselben Benutzers werden nicht angezeigt) | |||
Zeile 118: | Zeile 118: | ||
* Segmentierung der X-Y-Daten der rechten Fahrspuren für die unterschiedlichen Eingangsdateien mit dem Skript '''<code>segmentiereFahrbahnmarkierung.m</code>'''. | * Segmentierung der X-Y-Daten der rechten Fahrspuren für die unterschiedlichen Eingangsdateien mit dem Skript '''<code>segmentiereFahrbahnmarkierung.m</code>'''. | ||
* Segmentmaske als Mat-Datei z. B.'''<code>Spurkandidaten F040.mat</code>'''. | * Segmentmaske als Mat-Datei z. B.'''<code>Spurkandidaten F040.mat</code>'''. | ||
'''Lernzielkontrollfragen:''' | |||
* Welche Methoden kennen Sie aus der Vorlesung "Digitale Signal- und Bildverarbeitung", um eine Fahrspur zu segmentieren? Stellen Sie 5 unterschiedliche Ansätze vor. | |||
* Welche Merkmale sind für eine Fahrspur signifikant. | |||
* Welche Fehlereinflüsse gibt es? Wie kann man diesen entgegenwirken? | |||
{| role="presentation" class="wikitable mw-collapsible mw-collapsed" | {| role="presentation" class="wikitable mw-collapsible mw-collapsed" | ||
Zeile 154: | Zeile 159: | ||
|} | |} | ||
---- | ---- | ||
Zeile 175: | Zeile 176: | ||
'''Arbeitsergebnis''': Spurpolynome für die Bildframes 40, 160 und 350, visuelle Überprüfung durch Einblendung in die Bilddateien '''<code>zeigeSpurpolynom.m</code>''' (vgl. Abb. 8) | '''Arbeitsergebnis''': Spurpolynome für die Bildframes 40, 160 und 350, visuelle Überprüfung durch Einblendung in die Bilddateien '''<code>zeigeSpurpolynom.m</code>''' (vgl. Abb. 8) | ||
'''Lernzielkontrolle:''' | |||
* Wie lauten die Umrechnungsfaktoren Pixel in m in xF- und yF-Richtung. | |||
* Welche Vor- und Nachteile hat die Polynombildung? | |||
* Wie könnten die Nachteile behandelt werden? | |||
* Wie wird der Blindbereich vorm Fahrzeug berücksichtigt? | |||
'''Dokumente''': | '''Dokumente''': | ||
Zeile 181: | Zeile 188: | ||
{| role="presentation" class="wikitable mw-collapsible mw-collapsed" | {| role="presentation" class="wikitable mw-collapsible mw-collapsed" | ||
| <strong> | | <strong>Tipps </strong> | ||
|- | |- | ||
| Wandeln Sie die Maske mit [https://de.mathworks.com/help/matlab/ref/find.html <code>find</code>] in einen Vektor. | | Wandeln Sie die Maske mit [https://de.mathworks.com/help/matlab/ref/find.html <code>find</code>] in einen Vektor. | ||
Zeile 206: | Zeile 213: | ||
! # !! Thema !! Teilnehmer | ! # !! Thema !! Teilnehmer | ||
|- | |- | ||
| 1 || 9.4 Inverse Perspektiventransformation (IPT) || Daniel Block, Paul Janzen | | 1 || [[SoSe24_-_Praktikum_Systementwurf_-_Inverse_Perspektiventransformation_(IPT)|9.4 Inverse Perspektiventransformation (IPT)]] || Daniel Block, Paul Janzen | ||
|- | |- | ||
| 2 || 9.5 Segmentierung der Fahrbahnmarkierungen || Dennis Fleer, Philipp Sander | | 2 || [[SoSe24_-_Praktikum_Systementwurf_-_Segmentierung_der_Fahrbahnmarkierungen|9.5 Segmentierung der Fahrbahnmarkierungen]] || Dennis Fleer, Philipp Sander | ||
|- | |- | ||
| 3 || 9.6 Spurpolynom || Yunkai Lin, Xiangyao Liu, Yuhan Pan | | 3 || [[SoSe24_-_Praktikum_Systementwurf_-_Spurpolynom|9.6 Spurpolynom]] || Yunkai Lin, Xiangyao Liu, Yuhan Pan | ||
|} | |} | ||
=== Aufgabe 9.4: Inverse Perspektiventransformation (IPT) === | === Aufgabe 9.4: Inverse Perspektiventransformation (IPT) === | ||
# Studieren Sie den Artikel zur [https://www.mathworks.com/help/driving/ref/birdseyeview.html Inversen Perspektiventransformation mit | # Studieren Sie den Artikel zur [https://www.mathworks.com/help/driving/ref/birdseyeview.html Inversen Perspektiventransformation mit MATLAB<sup>®</sup>]. | ||
# Beschreiben Sie die Eingangsparameter. Nutzen Sie die Parameter | # Beschreiben Sie die Eingangsparameter. Nutzen Sie die Parameter aus Aufgabe 9.1. | ||
# Beschreiben Sie die Ausgangsparameter. | # Beschreiben Sie die Ausgangsparameter. | ||
# Wenden Sie die IPT auf das Video <code> | # Kalibrieren und Entzerren Sie das Kamerabild. Weisen Sie den Erfolg mit einem Referenzbild nach. | ||
# | # Wenden Sie die IPT auf das Video <code>GeradeInKurve.mp4</code> an. | ||
# Binarisieren Sie das Video und speichern Sie es als <code>GeradeInKurve_IPT.mp4</code>. | |||
# Analysieren Sie Ihr Ergebnis, identifizieren Sie Probleme und entwickeln mögliche Maßnahmen. Eine Umsetzung der Maßnahmen ist nicht erforderlich. | |||
'''Eingangsdateien:''' [https://svn.hshl.de/svn/MTR_SDE_Praktikum/trunk/Daten/Vision/ | '''Eingangsdateien:''' | ||
* [https://svn.hshl.de/svn/MTR_SDE_Praktikum/trunk/Daten/Vision/GeradeInKurve.mp4 SVN: GeradeInKurve.mp4] | |||
* Kalibrierparameter der Kamera(s) aus Aufgabe 9.1. | |||
'''Arbeitsergebnisse:''' | '''Arbeitsergebnisse:''' | ||
* | * MATLAB<sup>®</sup>-Skript: <code>startInversePerspektivenTransformation.m</code> | ||
* Transformiertes Video <code> | * Transformiertes Video: <code>GeradeInKurve_IPT.mp4</code> | ||
* Dokumentation im | * Dokumentation im [[SoSe24 - Praktikum Systementwurf - Inverse Perspektiventransformation (IPT)|Wiki-Artikel]] | ||
'''Lernzielkontrollfragen:''' | |||
* Wofür werden die Kamerakalibrierparameter verwendet? | |||
* Was ist ein region-of-interest (ROI)? Wie wird dieser gewählt? | |||
* Wie führt man eine effektive Binarisierung durch? | |||
* Welche Fehler zeigen sich im Binärbild? Wie lassen sich diese beheben? | |||
{| role="presentation" class="wikitable mw-collapsible mw-collapsed" | |||
| <strong>Tipps </strong> | |||
|- | |||
| Nützliche MATLAB<sup>®</sup>-Befehle: [https://www.mathworks.com/help/driving/ref/monocamera.html monoCamera], [https://www.mathworks.com/help/driving/ref/birdseyeview.html birdsEyeView], [https://www.mathworks.com/help/driving/ref/VideoWriter.html VideoWriter], [https://www.mathworks.com/help/driving/ref/hasFrame.html hasFrame], [https://www.mathworks.com/help/driving/ref/readFrame.html readFrame], [https://www.mathworks.com/help/driving/ref/undistortImage.html undistortImage], [https://www.mathworks.com/help/driving/ref/transformImage.html transformImage], [https://www.mathworks.com/help/driving/ref/im2frame.html im2frame], [https://www.mathworks.com/help/driving/ref/writeVideo.html writeVideo], [https://www.mathworks.com/help/driving/ref/open.html open], [https://www.mathworks.com/help/driving/ref/close.html close] | |||
|- | |||
| Nutzen Sie die '''Color Thresholder''' App für die Binarisierung. | |||
|- | |||
| Nutzen Sie die MATLAB<sup>®</sup>-Funktion [https://www.mathworks.com/help/driving/ref/transformImage.html transformImage] für die IPT. | |||
|} | |||
{| role="presentation" class="wikitable mw-collapsible mw-collapsed" | |||
| <strong>Beispiel: Bilder als Video speichern. </strong> | |||
|- | |||
|<source lang="matlab" style="font-size:small">hAusgabeVideo = VideoWriter('GeradeInKurve_IPT.mp4','MPEG-4'); | |||
hAusgabeVideo.FrameRate = 30; | |||
hAusgabeVideo.Quality = 90; | |||
open(hAusgabeVideo) | |||
aFrame = im2frame(uint8(aBild),colormap(gray(2))); % Bild in Frame wandeln | |||
writeVideo(hAusgabeVideo,aFrame); | |||
close(hAusgabeVideo) | |||
</source> | |||
|} | |||
{| role="presentation" class="wikitable mw-collapsible mw-collapsed" | |||
| <strong>Programmablaufplan </strong> | |||
|- | |||
| [[Datei:StartInversePerspektivenTransformation.png|600px|thumb|right|Abb. 10: PAP der Inverse Perspektiventransformation]] | |||
|} | |||
---- | ---- | ||
=== Aufgaben 9.5: Segmentierung der Fahrbahnmarkierungen === | === Aufgaben 9.5: Segmentierung der Fahrbahnmarkierungen === | ||
# Segmentieren Sie die Fahrspuren aus dem Video <code> | [[Datei:Rundkurs IPT markiete Segmente.png|400px|thumb|right|Abb. 10: Segmentierung der Fahrspuren in GeradeInKurve_Segmente.mp4]] | ||
# Segmentieren Sie die drei Fahrspuren aus dem Video [https://svn.hshl.de/svn/MTR_SDE_Praktikum/trunk/Daten/Vision/GeradeInKurve_IPT.mp4 <code>GeradeInKurve_IPT.mp4</code>]. | |||
# Zeigen Sie dieses Segmente | # Zeigen Sie dieses Segmente in den Farben laut Tabelle 3 im Video an (vgl. Abb. 10). | ||
# Sichern Sie das Ergebnisvideo. | |||
# Analysieren Sie Ihr Ergebnis, identifizieren Sie Probleme und entwickeln mögliche Maßnahmen. Eine Umsetzung der Maßnahmen ist nicht erforderlich. | |||
{| class="wikitable" | |||
|+ Tabelle 3: Farbcodierung der Fahrbahnen | |||
|- | |||
| rechte Fahrbahnmarkierung || Gelb (<code>y</code>) | |||
|- | |||
| Mittelstreifen || Rot (<code>r</code>) | |||
|- | |||
| linke Fahrbahnmarkierung || Grün (<code>g</code>) | |||
|} | |||
'''Eingangsdateien:''' <code> | '''Eingangsdateien:''' [https://svn.hshl.de/svn/MTR_SDE_Praktikum/trunk/Daten/Vision/GeradeInKurve_IPT.mp4 <code>GeradeInKurve_IPT.mp4</code>] | ||
'''Arbeitsergebnisse:''' | '''Arbeitsergebnisse:''' | ||
* | * MATLAB<sup>®</sup>-Skript: <code>segmentiereFahrbahnmarkierungen.m</code> | ||
* Darstellung des Fahrspursegmente für jedes Einzelbild des Films. | |||
* Visuelle Überprüfung durch Einblendung in das Ergebnisvideo: <code>GeradeInKurve_Segmente.mp4</code> | |||
* Sicherung der Segmente in <code>GeradeInKurve_Segmente.mat</code> | |||
* Dokumentation im [[SoSe24 - Praktikum Systementwurf - Segmentierung der Fahrbahnmarkierungen|Wiki-Artikel]] | |||
'''Lernzielkontrolle:''' | |||
# Mit welchen Ansätzen lassen sich die Mittle- und rechte Fahrspur segmentieren? | |||
# Wieso sollten alle Fahrbahnränder segmentiert werden? | |||
# Welche Vor- und Nachteile hat die Segmentierung? | |||
# Wie könnten die Nachteile behandelt werden? | |||
{| role="presentation" class="wikitable mw-collapsible mw-collapsed" | |||
| <strong>Tipps </strong> | |||
|- | |||
| Nützliche MATLAB<sup>®</sup>-Befehle: [https://www.mathworks.com/help/driving/ref/VideoReader.html VideoReader] [https://www.mathworks.com/help/driving/ref/hasFrame.html hasFrame], [https://www.mathworks.com/help/driving/ref/readFrame.html readFrame], [https://www.mathworks.com/help/driving/ref/bwlabel.html bwlabel], [https://www.mathworks.com/help/driving/ref/regionprops.html regionprops] | |||
| Sobald Sie eine Spur gefunden haben, können Sie parallel dazu die anderen Markierungen suchen. | |||
|- | |||
| Mit [https://www.mathworks.com/help/driving/ref/regionprops.html regionprops] können Sie die Position der Segmente berechnen. | |||
|} | |||
{| role="presentation" class="wikitable mw-collapsible mw-collapsed" | |||
| <strong>Beispiel: cell-array der Fahrspurmasken erzeugen  </strong> | |||
|- | |||
|<source line lang="matlab" style="font-size:small">Segment(:,:,1)=aLinkeFahrspur; | |||
Segment(:,:,2)=aMittelFahrspur; | |||
Segment(:,:,3)=aRechteFahrspur; | |||
Fahrbahnmarkierung{nBild}=Segment; | |||
</source> | |||
|} | |||
{| role="presentation" class="wikitable mw-collapsible mw-collapsed" | |||
| <strong>Beispiel: Mittelpunkt der Unterkante eines Segmentes berechnen </strong> | |||
|- | |||
|<source line lang="matlab" style="font-size:small"> [Label,nAnzahlSegmente] = bwlabel(aFrameBW); % Segmente labeln | |||
s=regionprops(Label,'Extrema'); % Segmentmerkmale bestimmen | |||
for i=1:nAnzahlSegmente | |||
p1 = s(i).Extrema(5,:); % Unten-Rechts | |||
p2 = s(i).Extrema(6,:); % Unten-Links | |||
p = (p1+p2)/2; % Unten-Mitte | |||
SegmentPosition(i,:) = p; | |||
end | |||
</source> | |||
|} | |||
{| role="presentation" class="wikitable mw-collapsible mw-collapsed" | |||
| <strong>Beispiel: Segmente anhand einer Maske einfärben  </strong> | |||
|- | |||
|<source line lang="matlab" style="font-size:small">aBild = zeros(480,640,3); % Beispielbild | |||
aMaske = zeros(480,640,1,'logical'); aMaske(:,300:305) = 255; % Vertikaler Strich als Maske | |||
% Zerlegung in RGB Farbkanäle | |||
R = aBild(:,:,1); % Rotkanal | |||
G = aBild(:,:,2); % Rotkanal | |||
B = aBild(:,:,3); % Rotkanal | |||
% Einfärben mit Maske | |||
R(aMaske)=255; | |||
aRGB = cat(3,R,G,B); | |||
</source> | |||
|} | |||
{| role="presentation" class="wikitable mw-collapsible mw-collapsed" | |||
| <strong>Programmablaufplan </strong> | |||
|- | |||
| [[Datei:SegmentiereFahrbahnmarkierungen.png|600px|thumb|right|Abb. 11: PAP der Segmentierung der Fahrbahnmarkierungen]] | |||
|} | |||
---- | ---- | ||
=== Aufgaben 9.6: Spurpolynom === | === Aufgaben 9.6: Spurpolynom === | ||
# Bestimmen Sie für die drei | [[Datei:ZeigeSpurpolynom F180.png|400px|thumb|right|Abb. 12: Darstellung der Fahrspuren als Polynom in GeradeInKurve_Spurpolynom.mp4]] | ||
# | # Bestimmen Sie für die drei Spursegmenten die Spurpolynome 2. Ordnung mit [https://svn.hshl.de/svn/MTR_SDE_Praktikum/trunk/Software/Demos/Lane_Tracking/interpoliereFahrspur.m <code>interpoliereFahrspur.m</code>] gemäß [https://svn.hshl.de/svn/MTR_SDE_Praktikum/trunk/Anforderungsmanagement/Lastenheft/Schnittstellendokumentation_Anlage_Lastenheft.docx Schnittstellendokumentation_Anlage_Lastenheft.docx] metrisch im Fahrzeugkoordinatensystem. | ||
# | # Blenden Sie die Spurpolynome in den Farben laut Tabelle 3 im Video <code>GeradeInKurve_IPT.mp4</code> ein (vgl. Abb. 12 und 14). | ||
# Bestimmen Sie das laut [https://svn.hshl.de/svn/MTR_SDE_Praktikum/trunk/Anforderungsmanagement/Lastenheft/Schnittstellendokumentation_Anlage_Lastenheft.docx Schnittstellendokumentation_Anlage_Lastenheft.docx] zu ermittelnde Spurpolynom für die Querregelung. | |||
# Zeichnen Sie dieses als weiße Parabel ein (vgl. Abb. 12 und 14). | |||
# Zeigen Sie das metrische Spurpolynom in Fahrzeugkoordinaten an (vgl. Abb. 15). | |||
# Sichern Sie das Ergebnisvideo. | |||
# Sichern Sie die Spurparameter des Spurpolynoms für die Querregelung. | |||
# Analysieren Sie Ihr Ergebnis, identifizieren Sie Probleme und entwickeln mögliche Maßnahmen. Eine Umsetzung der Maßnahmen ist nicht erforderlich. | |||
'''Eingangsdateien:''' | |||
* [https://svn.hshl.de/svn/MTR_SDE_Praktikum/trunk/Daten/Vision/GeradeInKurve_IPT.mp4 <code>GeradeInKurve_IPT.mp4</code>] | |||
* [https://svn.hshl.de/svn/MTR_SDE_Praktikum/trunk/Daten/Vision/GeradeInKurve_Segmente.mat <code>GeradeInKurve_Segmente.mat</code>]: struct mit den Labelmasken Linke Spur, Mittelspur, rechte Spur | |||
* [https://svn.hshl.de/svn/MTR_SDE_Praktikum/trunk/Daten/Vision/zeigeSegmente.m <code>zeigeSegmente.m</code>]: Hilfsfunktion zum Anzeigen der Segmente | |||
* [https://svn.hshl.de/svn/MTR_SDE_Praktikum/trunk/Software/Demos/Lane_Tracking/interpoliereFahrspur.m <code>interpoliereFahrspur.m</code>]: Hilfsfunktion zur Polynomregression | |||
'''Arbeitsergebnisse:''' | '''Arbeitsergebnisse:''' | ||
* | * MATLAB<sup>®</sup>-Skript: <code>zeigeSpurpolynom.m</code> | ||
* | * Darstellung des Spurpolynoms für jedes Einzelbild des Films. | ||
* | * Visuelle Überprüfung durch Einblendung in das Ergebnisvideo: <code>GeradeInKurve_Spurpolynom.mp4</code> | ||
* Dokumentation im Wiki | * Spurparameter [a b c] als <code>Spurpolynom.mat</code> | ||
* Dokumentation im [[SoSe24 - Praktikum Systementwurf - Spurpolynom|Wiki-Artikel]] | |||
'''Lernzielkontrolle:''' | |||
# Wie lassen sich die Spurpolynome für die 3 Segmente bestimmen. | |||
# Welche Vor- und Nachteile hat die Polynombildung? | |||
# Wie könnten die Nachteile behandelt werden? | |||
# Wie lauten die Umrechnungsfaktoren Pixel in m in xF- und yF-Richtung. | |||
# Wie wird der Blindbereich vorm Fahrzeug berücksichtigt? | |||
# Wie wird das Spurpolynom für die Querregelung aus den Spurpolynom der Fahrbahnmarkierungen ermittelt? | |||
{| role="presentation" class="wikitable mw-collapsible mw-collapsed" | |||
| <strong>Tipps </strong> | |||
|- | |||
| Nützliche MATLAB<sup>®</sup>-Befehle: [https://www.mathworks.com/help/driving/ref/VideoReader.html VideoReader] [https://www.mathworks.com/help/driving/ref/hasFrame.html hasFrame], [https://www.mathworks.com/help/driving/ref/readFrame.html readFrame], [https://www.mathworks.com/help/driving/ref/find.html find], [https://www.mathworks.com/help/driving/ref/text.html text] | |||
|- | |||
| Das Spurpolynom für die Regelung hat seinen Ursprung im fahrzeugfesten Koordinatensystem im Mittelpunkt des Stoßfängers vorn. Das Video hat hier einen Blindbereich da die Kamera hinten verbaut wurde. Diese Strecke muss vermessen und als Ursprung der Parabel berücksichtigt werden. | |||
|- | |||
| Das Spurpolynom für die Regelung muss aus den Spurpolynomen für die Fahrbahnmarkierungen ermittelt werden. Beachten Sie dabei die Krümmung in den Kurven. | |||
|} | |||
{| role="presentation" class="wikitable mw-collapsible mw-collapsed" | |||
| <strong>Programmablaufplan </strong> | |||
|- | |||
| [[Datei:ZeigeSpurpolynomA96.png|600px|thumb|right|Abb. 13: PAP der Polynomregression der Fahrbahnmarkierungen]] | |||
|} | |||
{| role="presentation" class="wikitable mw-collapsible mw-collapsed" | |||
| <strong>Musterlösung </strong> | |||
|- | |||
| [[Datei:ZeigeSpurpolynom F940.png|600px|thumb|right|Abb. 14: Darstellung der Spurpolynome in Bildkoordinaten]] | |||
|- | |||
| [[Datei:ZeigeSpurpolynomFKOS F180.jpg|600px|thumb|right|Abb. 15: Metrische Darstellung der Spurpolynome in Fahrzeugkoordinaten]] | |||
|} | |||
---- | ---- | ||
Aktuelle Version vom 21. Juni 2024, 16:18 Uhr
Autor: | Prof. Dr.-Ing. Schneider |
Thema: | Spurerkennung mit Kamera (OSE) |
Workshoptermin 9: | 20.06.2024 |
Lernzielkontrolle 3: | 04.07.2024 |
Einleitung
Die Workshops im SDE Praktikum sollen die Studierenden das praktische Arbeiten in einem Mechatroniklabor im Bereich modellbasierte Entwicklung mit MATLAB/Simulink und DSpace Hardware DS1104/ControlDesk vermitteln. Der Umgang soll in der Selbstlernzeit geübt werden.
Im Projekt OSE werden Objekte mit dem LiDAR-Sensor erkannt und verarbeitet sowie die Fahrspur mit der Kamera. Dieser Workshop fokussiert die Spurerkennung sowie die Bildung und des Spurpolynoms.
Lernziele
Nach erfolgreicher Teilnahme am Workshop:
- können Sie die intrinsischen und extrinsischen Parameter einer Kamera bestimmen.
- können Sie eine Inverse Perspektiventransformation durchführen.
- können Sie Fahrbahnmarkierungen segmentieren.
- können Sie das Spurpolynom maßstabsgetreu bestimmen.
Bewertung
Die Bewertung erfolgt im Rahmen der Lernzielkontrolle 3.
Voraussetzungen
- Für den Workshop benötigen Sie MATLAB/Simulink in der Version 2019b.
- Studieren Sie die Praktikumsordnung.
- Die unter Vorbereitung aufgeführten Aufgaben sind vor dem Workshoptermin vorzubereiten. Der Workshop baut auf Ihre Vorbereitung auf.
Der Workshop setzt nachfolgende Kenntnisse voraus:
- die Grundlagen der Programmierung,
- der Umgang mit der Versionsverwaltung SVN und
- der Umgang mit MATLAB/Simulink.
- der Grundlagen der Digitalen Signal- und Bildverarbeitung:
- Lektion 2: Koordinatentransformationen
- Lektion 7: Kantenerkennung und Rauschunterdrückung
- Lektion 8: Datengetriebene Segmentierung
Ablauf des Praktikums
Uhrzeit | Agenda | Form |
---|---|---|
8:15 | Begrüßung | Moderation durch Marc Ebmeyer |
8:20 | Bearbeitung der Aufgaben (vgl. Tabelle 2) | Gruppenarbeit |
10:10 | Statusbericht der Teams | max. 5 Min. pro Team |
10:25 | Verabschiedung | Moderation durch Marc Ebmeyer |
10:30 Uhr | Veranstaltungsende |
Vorbereitung
Aufgabe 9.1: Vorbereitung der Kamera
Um eine Kamera sinnvoll zur Spurerkennung einsetzen zu können, muss diese zuvor kalibriert werden.
- Studieren Sie die zugehörigen Wiki-Artikel und arbeiten Sie sich in die Camera Calibrator App von MATLAB® ein.
- Messen Sie die extrinsische und intrinsische Parameter der Kameras von Wagen 1 und 2 mit der MATLAB® Camera Calibrator App.
- Identifizieren Sie extrinsische und intrinsische Parameter.
- Machen Sie ein Foto eines vermessenen Aufbaus.
- Transformieren Sie einen vermessenen Punkt von Weltkoordinaten in Bildkoordinaten.
- Machen Sie ein Foto mit der Kamera auf der Fahrbahn von der Startlinie aus (Geradeaus.jpg).
- Machen Sie ein Foto mit der Kamera auf der Fahrbahn von der ersten Kurve aus (Linkskurve.jpg).
- Entzerren Sie beide Fotos anhand Ihrer ermittelten k-Matrix mit dem MATLAB®-Skript
entzerreVideobild
. - Dokumentieren Sie Ihren Versuchsaufbau, die Durchführung und Ergebnisse.
Arbeitsergebnisse:
- Extrinsische Kameraparameter:
- Intrinsische Kameraparameter: k-Matrix
- Eingangsdaten: Geradeaus.jpg, Linkskurve.jpg
- MATLAB®-Skript
entzerreVideobild
, welches anhand der intrinsischen Kameraparameter die Bildentzerrung durchführt. - Versuchsprotokoll
Kamerakalibrierung.docx
Lernzielkontrollfragen:
- Welche intrinsischen und extrinsischen Kameraparameter haben Wagen 1 und 2?
- Welchen Region-of-Interest (ROI) haben die Kameras?
- Wie ist der Zusammenhang zwischen Welt- und Bildkoordinaten?
- Welchen Blindbereich in Fahrzeugkoordinaten haben Wagen 1 und 2 ()?
Links
- HSHL-Wiki: Kalibrierung_der_Kamera
- MATLAB® Camera Calibrator App
- OSE:_Bildverarbeitung_mit_Spurerkennung
Tipps |
|
Aufgabe 9.2: Segmentierung der Fahrbahnmarkierungen
- Laden Sie das Bild
Spurkandidaten_F040.png
(vgl. Abb. 3). - Segmentieren Sie aus dem Kantenbild die rechte Fahrbahnmarkierungen. Welche Algorithmen der Vorlesung "Digitale Signal und Bildverarbeitung" lassen sich anwenden?
- Zeigen Sie das Segment farbig im Bild an.
- Verifizieren Sie Ihren Segmentierungsalgorithmus mit den Bildern Spurkandidaten F160.png und Spurkandidaten F350.png.
Eingangsdateien:
Arbeitsergebnisse:
- Segmentierung der X-Y-Daten der rechten Fahrspuren für die unterschiedlichen Eingangsdateien mit dem Skript
segmentiereFahrbahnmarkierung.m
. - Segmentmaske als Mat-Datei z. B.
Spurkandidaten F040.mat
.
Lernzielkontrollfragen:
- Welche Methoden kennen Sie aus der Vorlesung "Digitale Signal- und Bildverarbeitung", um eine Fahrspur zu segmentieren? Stellen Sie 5 unterschiedliche Ansätze vor.
- Welche Merkmale sind für eine Fahrspur signifikant.
- Welche Fehlereinflüsse gibt es? Wie kann man diesen entgegenwirken?
Tipp 1 |
|
Tipp 2: Einfärben der Fahrspur |
stDateiname = 'Spurkandidaten_F040.png';
aFrame = uint8(imread(stDateiname)); % Bild laden
load([stDateiname(1:end-3),'mat']); % Spurkandidaten laden
R = 255 * aFrame;
G = 255 * aFrame;
B = 255 * aFrame;
B = B.*uint8(~aRechteFahrspur); % Maske anwenden
aRGBBild = cat(3, R, G, B); % RGB-Bild erzeugen
imshow(aRGBBild);
|
Musterlösung |
Programmablaufplan |
Aufgabe 9.3: Spurpolynom
- Bestimmen Sie für die rechte Fahrbahnmarkierungen das Spurpolynome 2. Ordnung mit
polyfit
. - Ersetzen Sie
polyfit
durch die einfache PolynomapproximationinterpoliereFahrspur.m
. - Berechnen Sie aus dem Spurpolynom die rechte Fahrbahnmarkierungen.
- Blenden Sie die rechte Fahrbahnmarkierungen im Videobild für die Bildframes 40, 160 und 350 ein.
Demo: https://svn.hshl.de/svn/MTR_SDE_Praktikum/trunk/Software/Demos/Lane_Tracking
Eingangsdaten:
- Medium:Spurkandidaten.zip
interpoliereFahrspur.m
als Alternative zupolyfit
Arbeitsergebnis: Spurpolynome für die Bildframes 40, 160 und 350, visuelle Überprüfung durch Einblendung in die Bilddateien zeigeSpurpolynom.m
(vgl. Abb. 8)
Lernzielkontrolle:
- Wie lauten die Umrechnungsfaktoren Pixel in m in xF- und yF-Richtung.
- Welche Vor- und Nachteile hat die Polynombildung?
- Wie könnten die Nachteile behandelt werden?
- Wie wird der Blindbereich vorm Fahrzeug berücksichtigt?
Dokumente:
Tipps |
Wandeln Sie die Maske mit find in einen Vektor.
|
Die Koordinatentransformation Bild- zu Fahrzeug-KOS besteht aus einer Verschiebung und der Umrechnung Pixel zu m. Informationen zu den KOS finden Sie in den Dokumenten Lastenheft_Autonomes_Fahrzeug.pdf und Schnittstellendokumentation_Anlage_Lastenheft.docx. |
Nutzen Sie für die Polynomregression polyfit und alternativ interpoliereFahrspur.m .
|
Verwenden Sie die LaTeX-Notation im Titel. title(['p(x)=',num2str(p(1)),'$$\frac{1}{m} \cdot x^2 + $$',num2str(p(2)),'$$ \cdot x + $$',num2str(p(3)),'$$\,m$$'],'interpreter','latex')
|
Programmablaufplan |
Durchführung
Themen der Teams
# | Thema | Teilnehmer |
---|---|---|
1 | 9.4 Inverse Perspektiventransformation (IPT) | Daniel Block, Paul Janzen |
2 | 9.5 Segmentierung der Fahrbahnmarkierungen | Dennis Fleer, Philipp Sander |
3 | 9.6 Spurpolynom | Yunkai Lin, Xiangyao Liu, Yuhan Pan |
Aufgabe 9.4: Inverse Perspektiventransformation (IPT)
- Studieren Sie den Artikel zur Inversen Perspektiventransformation mit MATLAB®.
- Beschreiben Sie die Eingangsparameter. Nutzen Sie die Parameter aus Aufgabe 9.1.
- Beschreiben Sie die Ausgangsparameter.
- Kalibrieren und Entzerren Sie das Kamerabild. Weisen Sie den Erfolg mit einem Referenzbild nach.
- Wenden Sie die IPT auf das Video
GeradeInKurve.mp4
an. - Binarisieren Sie das Video und speichern Sie es als
GeradeInKurve_IPT.mp4
. - Analysieren Sie Ihr Ergebnis, identifizieren Sie Probleme und entwickeln mögliche Maßnahmen. Eine Umsetzung der Maßnahmen ist nicht erforderlich.
Eingangsdateien:
- SVN: GeradeInKurve.mp4
- Kalibrierparameter der Kamera(s) aus Aufgabe 9.1.
Arbeitsergebnisse:
- MATLAB®-Skript:
startInversePerspektivenTransformation.m
- Transformiertes Video:
GeradeInKurve_IPT.mp4
- Dokumentation im Wiki-Artikel
Lernzielkontrollfragen:
- Wofür werden die Kamerakalibrierparameter verwendet?
- Was ist ein region-of-interest (ROI)? Wie wird dieser gewählt?
- Wie führt man eine effektive Binarisierung durch?
- Welche Fehler zeigen sich im Binärbild? Wie lassen sich diese beheben?
Tipps |
Nützliche MATLAB®-Befehle: monoCamera, birdsEyeView, VideoWriter, hasFrame, readFrame, undistortImage, transformImage, im2frame, writeVideo, open, close |
Nutzen Sie die Color Thresholder App für die Binarisierung. |
Nutzen Sie die MATLAB®-Funktion transformImage für die IPT. |
Beispiel: Bilder als Video speichern. |
hAusgabeVideo = VideoWriter('GeradeInKurve_IPT.mp4','MPEG-4');
hAusgabeVideo.FrameRate = 30;
hAusgabeVideo.Quality = 90;
open(hAusgabeVideo)
aFrame = im2frame(uint8(aBild),colormap(gray(2))); % Bild in Frame wandeln
writeVideo(hAusgabeVideo,aFrame);
close(hAusgabeVideo)
|
Programmablaufplan |
Aufgaben 9.5: Segmentierung der Fahrbahnmarkierungen
- Segmentieren Sie die drei Fahrspuren aus dem Video
GeradeInKurve_IPT.mp4
. - Zeigen Sie dieses Segmente in den Farben laut Tabelle 3 im Video an (vgl. Abb. 10).
- Sichern Sie das Ergebnisvideo.
- Analysieren Sie Ihr Ergebnis, identifizieren Sie Probleme und entwickeln mögliche Maßnahmen. Eine Umsetzung der Maßnahmen ist nicht erforderlich.
rechte Fahrbahnmarkierung | Gelb (y )
|
Mittelstreifen | Rot (r )
|
linke Fahrbahnmarkierung | Grün (g )
|
Eingangsdateien: GeradeInKurve_IPT.mp4
Arbeitsergebnisse:
- MATLAB®-Skript:
segmentiereFahrbahnmarkierungen.m
- Darstellung des Fahrspursegmente für jedes Einzelbild des Films.
- Visuelle Überprüfung durch Einblendung in das Ergebnisvideo:
GeradeInKurve_Segmente.mp4
- Sicherung der Segmente in
GeradeInKurve_Segmente.mat
- Dokumentation im Wiki-Artikel
Lernzielkontrolle:
- Mit welchen Ansätzen lassen sich die Mittle- und rechte Fahrspur segmentieren?
- Wieso sollten alle Fahrbahnränder segmentiert werden?
- Welche Vor- und Nachteile hat die Segmentierung?
- Wie könnten die Nachteile behandelt werden?
Tipps | |
Nützliche MATLAB®-Befehle: VideoReader hasFrame, readFrame, bwlabel, regionprops | Sobald Sie eine Spur gefunden haben, können Sie parallel dazu die anderen Markierungen suchen. |
Mit regionprops können Sie die Position der Segmente berechnen. |
Beispiel: cell-array der Fahrspurmasken erzeugen |
Segment(:,:,1)=aLinkeFahrspur;
Segment(:,:,2)=aMittelFahrspur;
Segment(:,:,3)=aRechteFahrspur;
Fahrbahnmarkierung{nBild}=Segment;
|
Beispiel: Mittelpunkt der Unterkante eines Segmentes berechnen |
[Label,nAnzahlSegmente] = bwlabel(aFrameBW); % Segmente labeln
s=regionprops(Label,'Extrema'); % Segmentmerkmale bestimmen
for i=1:nAnzahlSegmente
p1 = s(i).Extrema(5,:); % Unten-Rechts
p2 = s(i).Extrema(6,:); % Unten-Links
p = (p1+p2)/2; % Unten-Mitte
SegmentPosition(i,:) = p;
end
|
Beispiel: Segmente anhand einer Maske einfärben |
aBild = zeros(480,640,3); % Beispielbild
aMaske = zeros(480,640,1,'logical'); aMaske(:,300:305) = 255; % Vertikaler Strich als Maske
% Zerlegung in RGB Farbkanäle
R = aBild(:,:,1); % Rotkanal
G = aBild(:,:,2); % Rotkanal
B = aBild(:,:,3); % Rotkanal
% Einfärben mit Maske
R(aMaske)=255;
aRGB = cat(3,R,G,B);
|
Programmablaufplan |
Aufgaben 9.6: Spurpolynom
- Bestimmen Sie für die drei Spursegmenten die Spurpolynome 2. Ordnung mit
interpoliereFahrspur.m
gemäß Schnittstellendokumentation_Anlage_Lastenheft.docx metrisch im Fahrzeugkoordinatensystem. - Blenden Sie die Spurpolynome in den Farben laut Tabelle 3 im Video
GeradeInKurve_IPT.mp4
ein (vgl. Abb. 12 und 14). - Bestimmen Sie das laut Schnittstellendokumentation_Anlage_Lastenheft.docx zu ermittelnde Spurpolynom für die Querregelung.
- Zeichnen Sie dieses als weiße Parabel ein (vgl. Abb. 12 und 14).
- Zeigen Sie das metrische Spurpolynom in Fahrzeugkoordinaten an (vgl. Abb. 15).
- Sichern Sie das Ergebnisvideo.
- Sichern Sie die Spurparameter des Spurpolynoms für die Querregelung.
- Analysieren Sie Ihr Ergebnis, identifizieren Sie Probleme und entwickeln mögliche Maßnahmen. Eine Umsetzung der Maßnahmen ist nicht erforderlich.
Eingangsdateien:
GeradeInKurve_IPT.mp4
GeradeInKurve_Segmente.mat
: struct mit den Labelmasken Linke Spur, Mittelspur, rechte SpurzeigeSegmente.m
: Hilfsfunktion zum Anzeigen der SegmenteinterpoliereFahrspur.m
: Hilfsfunktion zur Polynomregression
Arbeitsergebnisse:
- MATLAB®-Skript:
zeigeSpurpolynom.m
- Darstellung des Spurpolynoms für jedes Einzelbild des Films.
- Visuelle Überprüfung durch Einblendung in das Ergebnisvideo:
GeradeInKurve_Spurpolynom.mp4
- Spurparameter [a b c] als
Spurpolynom.mat
- Dokumentation im Wiki-Artikel
Lernzielkontrolle:
- Wie lassen sich die Spurpolynome für die 3 Segmente bestimmen.
- Welche Vor- und Nachteile hat die Polynombildung?
- Wie könnten die Nachteile behandelt werden?
- Wie lauten die Umrechnungsfaktoren Pixel in m in xF- und yF-Richtung.
- Wie wird der Blindbereich vorm Fahrzeug berücksichtigt?
- Wie wird das Spurpolynom für die Querregelung aus den Spurpolynom der Fahrbahnmarkierungen ermittelt?
Tipps |
Nützliche MATLAB®-Befehle: VideoReader hasFrame, readFrame, find, text |
Das Spurpolynom für die Regelung hat seinen Ursprung im fahrzeugfesten Koordinatensystem im Mittelpunkt des Stoßfängers vorn. Das Video hat hier einen Blindbereich da die Kamera hinten verbaut wurde. Diese Strecke muss vermessen und als Ursprung der Parabel berücksichtigt werden. |
Das Spurpolynom für die Regelung muss aus den Spurpolynomen für die Fahrbahnmarkierungen ermittelt werden. Beachten Sie dabei die Krümmung in den Kurven. |
Programmablaufplan |
Musterlösung |
Nützlicher Link
- Allgemeine Anforderungen an ein Versuchsprotokoll
- MATLAB®-Skript, welches die Messung in eine Auswertedatei umwandelt: funktion_wandle_dspacemess_in_CCF_mess.m
→ zurück zum Hauptartikel: Praktikum SDE | SDE-Team 2024/25