Quelltext der Seite Entwicklung einer 3D-Simulationsumgebung für autonome Fahrzeuge mit MATLAB/Simulink

[[Kategorie:Projekte]]
[[Datei:Autonomes_Fahren.gif|thumb|rigth|1200px|Abb. 1: Simulationsumgebung]] 
<!--[[Datei:Simulation KIT Car CC22.jpg |mini|600px|Abb. 1: Simulationsumgebung des KIT]]-->
'''Autor:''' Jonas Gerken<br/>
'''Art:''' Bachelorarbeit<br>
'''Dauer:''' 24.06.2023 - 24.10.2023<br>
'''Betreuer:''' [[Benutzer:Ulrich_Schneider| Prof. Schneider]]<br/>

== Einleitung ==
Im 6. und 7. Semester MTR haben die Studierenden die Aufgabe ein autonomes Fahrzeug im Maßstab 1:10 in einer Spur zu führen und einparken zu lassen. Die derzeitige Simulationsumgebung ist 2D. Der Student hat die Aufgabe diese Umgebung durch eine 3D-umgebung zu ersetzen, so dass zukünftig in MATLAB/Simulink die Kamera als Sensor simuliert werden kann. Die Auswertung des Kamerabildes ist nicht Teil der Bachelorarbeit.

== Aufgabenstellung ==
# Einarbeitung in die bestehende Simulationumgebung.
# 3D-Simulation des Rundkurses (0)
# Schaffung der Schnittstelle Simulink-3D-Visualisierung
# Umstellung von SEN_KAM auf die 3D Simulation
# einfache Generierung der Spurparameter aus der 3D-Simulation (Parameter a, b, c)
# Regelung des Fahrzeugs auf dem Rundkurs in 3D
# 3D-Simulation des Rundkurs mit Kreuzung (1)
# Optional: Stopplinienerkennung
# Test der Umgebung
# Dokumentation nach wissenschaftlichem Stand im HSHL-Wiki

== Anforderungen an die wissenschaftliche Arbeit ==
* Wissenschaftliche Vorgehensweise (Projektplan, etc.), nützlicher Artikel: [[Gantt-Diagramm| Gantt Diagramm erstellen]]
* Zweiwöchentlicher Fortschrittsberichte (informativ)
* Projektvorstellung im Wiki
*[[Software_Versionsverwaltung_mit_SVN|Regeln zum Umgang mit SVN]]
*[[Studentische_Arbeiten_bei_Prof._Schneider|Studentische Arbeiten bei Prof. Schneider]]
*[[Anforderungen_an_eine_wissenschaftlich_Arbeit| Anforderungen an eine wissenschaftlich Arbeit]]

== SVN-Repositorium ==
Link: [https://svn.hshl.de/svn/HSHL_Projekte/trunk/3D_Simulation_AF SVN URL: 3D_Simulation_AF]

== Getting Started ==
* [[Praktikum_SDE|Projektdokumentation - Autonomes Fahren]]

== Projektplan ==
[[Datei:Projektplan_3DSim_autonomesFahrzeug.jpg|links|mini|600px|Abb. 2: Projektplan]]

<br clear=all>

== [[Modellieren der virtuellen Welt|Modellieren der virtuellen Welt]] ==

== Simulink Modell mit 3D Welt verknüpfen == 

Um in der 3D-Simulationumgebung ein Fahrzeug fahren zu lassen, muss ein bestehendes Simulink Modell mit der 3D Welt verknüpft werden.

[[Datei:VR_SINK.jpg|mini|300px|Abb. 31: Zeigt ein VR-Sink Block]]

Dazu gibt es in dem Simulink-Library-Browser den VR-Sink Block unter dem Simulink 3D Animation Reiter. (Abb. 31)
Zum einfügen in das Simulink Modell wird der Block einfach per Drag and Drop in das Modell gezogen.

Als nächstes muss der VR-Sink konfiguriert werden. Dazu wird durch einen Doppelklick auf das VR-Sink das Parameter Fenster geöffnet.
Unter dem folgenden Link sind die einzelnen Punkte in dem Parameter Fenster erklärt. 
[https://de.mathworks.com/help/sl3d/vrsink.html VR-Sink]

So wird unter dem Bereich Source File die gewünschte VRML-Datei hinzugefügt und auf der rechten Seite unter Car(Transform) bei rotation und translation ein Haken gesetzt.(Abb. 32)
[[Datei:VR_SINK_Konfigurieren.jpg|left|mini|300px|Abb. 32: Parameter-Fenster]]

<br clear=all>

Auf der linken Seite des VR-Sink sollten nun zwei Eingänge mit den Beschriftungen rotation und translation zu sehen sein.
Für die benötigten Daten wird das Bus-Signal unter Darstellung abgegriffen und mit einem Bus-Selector in die Einzelnen Elemente aufgeteilt.
In dem Bus-Selector werden die Elemente <ESM_x_I_f64>, <ESM_y_I_f64> und <ESM_psi_f64> ausgewählt.
Dann müssen die x und y Elemente mit 100 Multipliziert werden um es an die 3D Simulation anzupassen.

Die Daten <ESM_x_I_f64> und <ESM_y_I_f64> und einer Konstanten z-Koordinate müssen über ein Mux Element zusammen geführt werden, da die VR-Sink Eingänge nur aus einem einzelnen Port verfügen.
Die z-Koordinate ist für die 3D Darstellung nötig und besteht aus der Höhe des Fahrzeugs.
In einer 3D-Simulationsumgebung kann ein Objekt, anders wie auf 2D-Ebene, in mehrere Richtungen gedreht werden.
Dort kann ein Objekt um die x, y und z Achse rotiert werden.
Ein VR Signal Expander wird benötigt, um den Drehwinkel (Rotation) in die 3D-Simulationsumgebung zu übertragen. 
Das Element <ESM_psi_f64> wird über den VR Signal Expender mit dem VR-Sink verbunden.
So wird der Drehwinkel an den VR-Sink auch als Drehwinkel übermittelt.

Die fertige Verknüpfung ist in Abb. 33 zu sehen.
[[Datei:Simulink_Modell_Verknüpfen.jpg|left|mini|300px|Abb. 33: Simulink Modell]]

<br clear=all>

== Kamera Bild erzeugen ==

Nach der Modellierung der 3D-Simulationsumgebung, ist der nächste Schritt die Kamera zu erstellen und ein Kamera-Bild zu erzeugen.

Für die Kamera wird ein "Viewpoint" verwendet. Allgemein ist ein Viewpoint in dem Simulink 3D World Editor ein Definierter Punkt, wie auf die erstellte 3D Welt geguckt werden soll. [https://de.mathworks.com/help/sl3d/set-viewpoints.html Viewpoints]
Einem Viewpoint können visuelle Informationen entnommen und in einem Simulink Modell weiter verarbeitet werden.

[[Datei:Viewpoint_erstellen.jpg|mini|300px|Abb. 34: Viewpoint/Kamera hinzufügen]]
In dem Editor wird ein Viewpoint wie in Abb. 34 gezeigt erstellt. Dazu ist es wichtig diesen Viewpoint in einer Transform-Node zu erstellen. Das wird benötigt, um den Viewpoint in die richtige Position zu verschieben.

Da es die Kamera des Fahrzeugs sein soll, wird diese innerhalb der Car Group-Node erstellt.

# Rechtsklick auf children in der Car Group-Node
# Add Node auswählen
# Bindable auswählen
# Viewpoint auswählen

Zuletzt muss die Position des Viewpoints an das Fahrzeug angepasst werden. Der Winkel (Rotation) der Kamera wird unter der Transform_Node auf -1,396 eingestellt, um diese 10 Grad nach unten zu neigen (Abb. 35).
[[Datei:Position_Kamera.jpg|left|mini|300px|Abb. 35: Kamera Position einrichten]]

<br clear=all>

Um das Bild des Viewpoints zu nutzen wird ein VR to Video Block aus der Simulink 3D Animation Bibliothek dem Simulink Modell hinzugefügt.
Dieser Block wird unter dem Subsystem Sen Sensoren offline in dem Subsystem SenKam - Kamera erstellt.

Mit einem Doppelklick auf diesen öffnet sich das Parameter Fenster.

Source File: VRML-Datei unter Browse auswählen

Unter Video output signal dimensions wird die gewünschte Videobildgröße angegeben.

Video output signal dimensions: [478 752]

Dann auf Apply klicken um die Änderungen zu speichern.

Abb. 36 zeigt dazu das Parameter Fenster.
[[Datei:VRtoVideo_Parameters.jpg|left|mini|300px|Abb. 36: VRtoVIdeo Block Einstellen]]
<br clear=all>


Zur Bildverarbeitung könnte das OpenCV Interface genutzt werden.
In Matlab ist das Problem, dass nur unter Matlab ein Bild/Video geladen und verarbeitet werden kann.
Das OpenCV Interface für Simulink ist erst ab der Matlab Version 2020a verfügbar. Dort könnte ein OpenCV Code über den OpenCV Importer in ein Simulink Block umgewandelt werden. 

[https://de.mathworks.com/discovery/matlab-opencv.html?s_tid=srchtitle_support_results_1_opencv%20simulink||Matlab/Simulink OpenCV Interface]


Um zwischen 2D und 3D zu wechseln wurde noch ein Schalter in dem Simulink Modell hinzugefügt (Abb. 37).
Der Schalter wird unter dem Subsystem SenKam-Kamera erstellt. Dort wird auch ein Subsystem mit dem Namen Bildverarbeitung erstellt.
Um den Schalter zu verbinden werden hier die 3 Spurparameter mit Konstanten Zahlen angegeben.

[[Datei:Schalter_2D_3D.jpg|left|mini|500px|Abb. 37: Schalter zwischen 2D und 3D]]
<br clear=all>

In der start.m Datei wird dann über eine Variable 2D oder 3D ausgewählt (Abb. 38).
[[Datei:3DSim_Variable.jpg|left|mini|300px|Abb. 33: Variable in Start.m]]

<br clear=all>

== Kamera Bilder == 
[[Datei:Kamera_Kurve.jpg|left|mini|400px|Abb. 1: Kamera Darstellung]]
[[Datei:Kamera_Grade.jpg|left|mini|400px|Abb. 2: Kamera Darstellung]]

<br clear=all>

[[Datei:Rundkurs0_3DSim_Video.mp4|start=0|end=6|Rundkurs0 Video aus Sicht der Kamera]]

<br clear=all>

[[Datei:Rundkurs1_3DSim_Video.mp4|start=0|end=6|Rundkurs1 Video aus Sicht der Kamera]]

<br clear=all>

== Lastenheft ==
*  [[Medium:Lastenheft Autonomes Fahrzeug.pdf]]


----
→ zurück zum Hauptartikel: [[Studentische_Arbeiten|Studentische Arbeiten]]