Kom - Kommunikation: Unterschied zwischen den Versionen
Zur Navigation springen
Zur Suche springen
K (Verlinkung Objekt- und Spurerkennung) |
(Aktualisierung der Seite auf Stand WiSe 22/23, muss ab "Softwarearchitektur für die Kommunikation" weiter aktualisiert werden) |
||
| Zeile 1: | Zeile 1: | ||
= Aufgabenstellung und Ziele = | = Aufgabenstellung und Ziele = | ||
Das Modul Kommunikation | Das Modul Kommunikation realisiert den Datenaustausch der einzelnen Module des Carolo Cup Fahrzeugs. Den Schwerpunkt stellt dabei die Implementierung der RS232-Schnittstelle dar, die die Variablen aus der [[OSE - Objekt - und Spurerkennung|Objekt- und Spurerkennung]], z.B. die Spurparameter, zwischen dem PC und der dSPACE-Karte 1104 überträgt. </br> | ||
Eine | Die dSPACE-Karte ist eine x86 PCI-Erweiterungskarte und wird über diese Anbindung programmiert. Eine Kommunikation zwischen der [[OSE Softwareumgebung]] und der dSPACE-Karte konnte Stand WiSe 22/23 über den PCI Bus leider nicht hergestellt werden. Daher muss eine alternative Schnittstelle genutzt werden, die mit dem seriellen RS-232 Bus ausgewählt wurde. </br> | ||
Ziel dieses Moduls ist die bidirektionale Echtzeitdatenübertragung jedes Frames aus der [[OSE Softwareumgebung]] zur dSPACE Karte 1104. </br> | |||
</br> | |||
Die weitere Verarbeitung der Daten findet in den anderen Modulen statt, die in Simulink (2019b) implementiert und auf der dSPACE-Karte ausgeführt werden. Die Spurparameter werden z.B. in [[BSF - Bahn- und Spurführung]] verarbeitet, um den Lenkwinkel aus der aktuellen Position und dem Spurpolynom zu regeln. | |||
Die | |||
== | = Konzept = | ||
Die [[OSE Softwareumgebung]] beinhaltet die Bild- und Lidar-Verarbeitung, sowie die Implementierung der RS232 Kommunikation. </br> | |||
Die Kamera ist mit Ethernet an die x86-CPU verbunden, diese wiederum ist über einen [https://learn.microsoft.com/en-us/windows-hardware/drivers/serports/configuration-of-com-ports COM Port] über das RS-232 Protokoll mit der dSPACE Karte verbunden. Die x86-CPU führt die "OSE_Draufsicht_Spurpolynom_RS232.exe" (C/C++ Code) aus, die einen Bildverarbeitungsalgorithmus auf das Kamerabild anwendet, um die a-, b-, c-Parameter der Fahrspur zu ermitteln. </br> | |||
Die [[OSE Softwareumgebung]] erkennt aus den Lidar-Daten Objekte, die im [[AEP - Autonomes Einparken]] Modul benötigt werden. | |||
[[Datei:Schema_Konzept_SDE_CCF_Kommunikation.PNG|800px|center|thumb|Schema des Kommunikations-Konzepts nach Schnittstellen Dokumentation (Regelkreis mit dSPACE-Karte stark vereinfacht) ]] | |||
== Überblick Variablen == | |||
*PC zu dSpace | |||
{| class="wikitable" | {| class="wikitable" | ||
|- | |- | ||
| Zeile 180: | Zeile 80: | ||
! scope="row"| plausible[n_objekte] | ! scope="row"| plausible[n_objekte] | ||
| uint8 (1 Byte) | | uint8 (1 Byte) | ||
| Vertrauenswert für | | Vertrauenswert für Objekt (0=min,255=max) | ||
|- | |- | ||
! scope="row | ! scope="row"| | ||
| 149 Byte | | 149 Byte | ||
|Gesamtgröße des Datenpakets | |||
|} | |} | ||
== Dokumentation == | *dSpace zu PC | ||
{| class="wikitable" | |||
|- | |||
! scope="col"| Signalname | |||
! scope="col"| Datentyp | |||
! scope="col"| Beschreibung | |||
|- | |||
! scope="row"| V_x_ego | |||
| float32 (4 Byte) | |||
| Ego-Längsgeschwindigkeit des Fahrzeugs | |||
|- | |||
! scope="row"| alpha | |||
| float32 (4 Byte) | |||
| Lenkwinkel: α > 0 Lenkausschlag links, α < 0 Lenkausschlag rechts | |||
|- | |||
! scope="row"| | |||
|8 Byte | |||
| Gesamtgröße des Datenpakets | |||
|} | |||
=Softwarearchitektur für die Kommunikation= | |||
Der C/C++-Quellcode für den LiDAR und die Kamera befindet sich im SVN-Ordner [https://svn.hshl.de/svn/MTR_SDE_Praktikum/trunk/Software/OSE_Fusion_Software_Final OSE Fusion Software Final]. Da die Kommmunikation sich mit der Datenfusion LiDAR-Kamera beschäftigt, ist es wichtig in welcher Datei des Projektes sich die notwendigen Informationen befinden. Die Software wirkt auf dem ersten Blick unübersichtlich. | |||
Die für die Kommunikation relevanten Dateien wurden in folgendem Diagramm abgebildet. | |||
[[Datei:Allgemeine_SH_Kommunikation.png|800px|center]] | |||
Die Implementierung der Quelldatei "RS232Comm.cpp" wird in diesem [[Kommunikation zwischen PC und dSpace-Karte via RS232 | Wiki-Artikel]] und diesem [[Übertragen des Spurpolynoms | Wiki-Artikel]] beschrieben. | |||
===[[Kommunikation zwischen PC und dSpace-Karte via RS232|Kommunikation zwischen PC und dSpace-Karte]] (vorheriger Ansatz)=== | |||
===[[Fahrzeugkommunikation via RS232| Kommunikation und Diagnoseschnittstelle]] (aktueller Ansatz)=== | |||
== Lidar == | |||
Die Lidar-Daten müssen segmentiert und zu Objekten verarbeitet werden. Bitte bereite hierfür ein Framework (Hülse) vor, das die Beispieldaten gemäß Schnittstellendokument weiterleitet. Ich fülle mit den Studierenden diese Schnittstelle anschließend mit Inhalt. Bitte übergib mir die Schnittstelle mit einer angemessenen Dokumentation. | |||
== Fusion Kamera-Lidar == | |||
Framework für die Fusion Kamera - Lidar auf den PC übertragen. Im zweiten Schritt müssen Kameraobjekte mit Videoobjekten fusioniert werden. Auch hierfür benötige ich ein Framework (Hülse, Funktionsrumpf), das ich dann fülle. Per Default werden die Kameraspur und die Laserscannerobjekte übergeben. | |||
= Anweisung für das ONLINE-Modell = | |||
# Nutzen sie bitte MATLAB 2019b | |||
# Achten Sie bitte auf der Solver des Blocks --> '''Fixed Step nicht auf auto''' | |||
# Lesen Sie die Wiki-Artikeln durch | |||
#* [https://wiki.hshl.de/wiki/index.php/Starten_der_Online-Simulation Starten der Online-Simulation] | |||
#* [https://wiki.hshl.de/wiki/index.php/Updaten_von_Bibliotheken Updates von Bibliotheken] | |||
#* [https://wiki.hshl.de/wiki/index.php/%C3%84ndern_von_Bibliotheken Ändern Bibliotheken] | |||
#* [https://wiki.hshl.de/wiki/index.php/Signal_hinzuf%C3%BCgen Signal Hinzufügen] | |||
#* [https://wiki.hshl.de/wiki/index.php/Software_Versionsverwaltung_mit_SVN Softwareverwaltung mit SVN] | |||
# Notieren Sie Fehlermeldungen und Warnings | |||
# Warnings sind sofort zu beseitigen beim Erstellen einer neuen Bibliothek! | |||
== [[Tutorial - Bussysteme in Matlab| Tutorial - Bussysteme in Matlab]] == | |||
'''Autor: '''[[Benutzer:John Kneib|John Kneib]] | |||
= Verbindung zum Fahrzeug = | |||
=== [[UltraVNC| VNC-Verbindung ]] === | |||
=== [[ | === [[Von Simulink zu ControlDesk|Von Simulink zu ControlDesk]] === | ||
=== [[ | |||
=== Aufbau einer virtuellen Kommunikationsumgebung === | |||
* [https://www.youtube.com/watch?v=6IxuKuK6iBY '''Erstellung eines virtuelle Port'''] | |||
* [https://www.youtube.com/watch?v=5aZh9beVAvI '''Serielle Visualisierung mit HTerm'''] | |||
== Fehlermeldung MSVCP140D bei ComTest.exe == | |||
'''Autor:''' [[Benutzer:Tim-Jannik_Schonlau|Tim Schonlau]], [[Benutzer:Changlai_Bao|Changlai Bao]] in WS2022/23 | |||
[[Datei:KOM_ComTest_Fehlermeldung_MSVCP140D.png|600px|center]] | |||
Beim ersten Start fehlen bestimmte Windows Bibliotheken. Das Kompilieren der Datei "ComTest.vcxproj" mit Visual Studio (2019) löst das Problem. | |||
= LiDAR = | |||
=== [[Objekterkennung mit Laserscanner|Objekterkennung mit LiDAR Hokuyo URG-04LX]] === | |||
'''Autor:''' [[Benutzer:Michael_Deitel|Michael Deitel]] [[Benutzer:Manuel_Gross|Manuel Groß]] | |||
'''Bearbeitet von:''' [[Benutzer:Benedikt Wulowitsch|Benedikt Wulowitsch]], [[Benutzer:John Kneib|John Kneib]] | |||
=== [[Objekterkennung mit LiDAR|Inbetriebnahme und Objekterkennung des LiDAR Hokuyo URG-04LX in MATLAB]]=== | |||
'''Autor:''' [[Yu Peng]] | |||
=== [[Objekterkennung mit RP Lidar A1M8| Inbetriebnahme und Objekterkennung des RP Lidar A1M8 in MATLAB]] === | |||
'''Autor:'''[[Benutzer:Thomas Miska|Thomas Miska]] | |||
=== [[Kommunikation Hokuyo LiDAR| Kommunikation Hokuyo LiDAR via USB]] === | |||
'''Autor:'''[[Benutzer:Isaac Mpidi-Bita|Isaac Mpidi Bita]] | |||
= Kamera = | |||
=== [[Zentralperspektive "Umrechnung von Bild- zu Weltkoordinaten"| Umrechnung von Bildkoordinaten ins Weltkoordinatensystem]] === | |||
=== [[Spurerkennung | Spurerkennung (Vorheriger Ansatz)]] === | |||
'''Autor:''' [[Benutzer:Konstantin Wotschel |Konstantin Wotschel]] | |||
===[[Objekterkennung mit Kamera|Objekterkennung mit Kamera VR-Magic]] === | |||
'''Autor:''' [[Benutzer:Christian Hauke|Christian Hauke]] 7. Feb. 2014 (CET) | |||
===[[Bildentzerrung und KOS-Transformation|Bildentzerrung und KOS-Transformation mit OpenCV (aktueller Ansatz)]]=== | |||
'''Autor:''' [[Benutzer:Luca_Di-Lillo|Luca Di Lillo]], [[Benutzer:Tim-Leonard_Bexten|Tim Bexten]] in SS2019 | |||
= Tests der Kommunikation = | = Tests der Kommunikation = | ||
Version vom 21. November 2022, 18:58 Uhr
Aufgabenstellung und Ziele
Das Modul Kommunikation realisiert den Datenaustausch der einzelnen Module des Carolo Cup Fahrzeugs. Den Schwerpunkt stellt dabei die Implementierung der RS232-Schnittstelle dar, die die Variablen aus der Objekt- und Spurerkennung, z.B. die Spurparameter, zwischen dem PC und der dSPACE-Karte 1104 überträgt.
Die dSPACE-Karte ist eine x86 PCI-Erweiterungskarte und wird über diese Anbindung programmiert. Eine Kommunikation zwischen der OSE Softwareumgebung und der dSPACE-Karte konnte Stand WiSe 22/23 über den PCI Bus leider nicht hergestellt werden. Daher muss eine alternative Schnittstelle genutzt werden, die mit dem seriellen RS-232 Bus ausgewählt wurde.
Ziel dieses Moduls ist die bidirektionale Echtzeitdatenübertragung jedes Frames aus der OSE Softwareumgebung zur dSPACE Karte 1104.
Die weitere Verarbeitung der Daten findet in den anderen Modulen statt, die in Simulink (2019b) implementiert und auf der dSPACE-Karte ausgeführt werden. Die Spurparameter werden z.B. in BSF - Bahn- und Spurführung verarbeitet, um den Lenkwinkel aus der aktuellen Position und dem Spurpolynom zu regeln.
Konzept
Die OSE Softwareumgebung beinhaltet die Bild- und Lidar-Verarbeitung, sowie die Implementierung der RS232 Kommunikation.
Die Kamera ist mit Ethernet an die x86-CPU verbunden, diese wiederum ist über einen COM Port über das RS-232 Protokoll mit der dSPACE Karte verbunden. Die x86-CPU führt die "OSE_Draufsicht_Spurpolynom_RS232.exe" (C/C++ Code) aus, die einen Bildverarbeitungsalgorithmus auf das Kamerabild anwendet, um die a-, b-, c-Parameter der Fahrspur zu ermitteln.
Die OSE Softwareumgebung erkennt aus den Lidar-Daten Objekte, die im AEP - Autonomes Einparken Modul benötigt werden.
Überblick Variablen
- PC zu dSpace
| Signalname | Datentyp | Beschreibung |
|---|---|---|
| a | float32 (4 Byte) | Fahrspurparameter |
| b | float32 (4 Byte) | Fahrspurparameter |
| c | float32 (4 Byte) | Fahrspurparameter |
| lane_asign | bool (1 Byte) | Spurzuordnung: 1 = rechte Fahrspur, 0 = linke Fahrspur |
| stop_insight | bool (1 Byte) | 1 = Stopplinie erkannt, 0 = keine Stopplinie erkannt |
| stop_distance | float32 (4 Byte) | Entfernung zur Stopplinie |
| n_objekte | uint8 (1 Byte) | Anzahl relevanter Objekte (maximal 5) |
| number[n_objekte] | uint8 (1 Byte) | Objektzähler |
| x_0[n_objekte] | float32 (4 Byte) | x-Koordinate des Objektmittelpunktes (mitte, vorn) |
| y_0[n_objekte] | float32 (4 Byte) | y-Koordinate des Objektmittelpunktes (mitte, vorn) |
| b[n_objekte] | float32 (4 Byte) | Objektbreite |
| t[n_objekte] | float32 (4 Byte) | Objekttiefe |
| alpha[n_objekte] | float32 (4 Byte) | Objektausrichtung |
| v[n_objekte] | float32 (4 Byte) | Betrag des Geschwindigkeitsvektors |
| plausible[n_objekte] | uint8 (1 Byte) | Vertrauenswert für Objekt (0=min,255=max) |
| 149 Byte | Gesamtgröße des Datenpakets |
- dSpace zu PC
| Signalname | Datentyp | Beschreibung |
|---|---|---|
| V_x_ego | float32 (4 Byte) | Ego-Längsgeschwindigkeit des Fahrzeugs |
| alpha | float32 (4 Byte) | Lenkwinkel: α > 0 Lenkausschlag links, α < 0 Lenkausschlag rechts |
| 8 Byte | Gesamtgröße des Datenpakets |
Softwarearchitektur für die Kommunikation
Der C/C++-Quellcode für den LiDAR und die Kamera befindet sich im SVN-Ordner OSE Fusion Software Final. Da die Kommmunikation sich mit der Datenfusion LiDAR-Kamera beschäftigt, ist es wichtig in welcher Datei des Projektes sich die notwendigen Informationen befinden. Die Software wirkt auf dem ersten Blick unübersichtlich. Die für die Kommunikation relevanten Dateien wurden in folgendem Diagramm abgebildet.
Die Implementierung der Quelldatei "RS232Comm.cpp" wird in diesem Wiki-Artikel und diesem Wiki-Artikel beschrieben.
Kommunikation zwischen PC und dSpace-Karte (vorheriger Ansatz)
Kommunikation und Diagnoseschnittstelle (aktueller Ansatz)
Lidar
Die Lidar-Daten müssen segmentiert und zu Objekten verarbeitet werden. Bitte bereite hierfür ein Framework (Hülse) vor, das die Beispieldaten gemäß Schnittstellendokument weiterleitet. Ich fülle mit den Studierenden diese Schnittstelle anschließend mit Inhalt. Bitte übergib mir die Schnittstelle mit einer angemessenen Dokumentation.
Fusion Kamera-Lidar
Framework für die Fusion Kamera - Lidar auf den PC übertragen. Im zweiten Schritt müssen Kameraobjekte mit Videoobjekten fusioniert werden. Auch hierfür benötige ich ein Framework (Hülse, Funktionsrumpf), das ich dann fülle. Per Default werden die Kameraspur und die Laserscannerobjekte übergeben.
Anweisung für das ONLINE-Modell
- Nutzen sie bitte MATLAB 2019b
- Achten Sie bitte auf der Solver des Blocks --> Fixed Step nicht auf auto
- Lesen Sie die Wiki-Artikeln durch
- Notieren Sie Fehlermeldungen und Warnings
- Warnings sind sofort zu beseitigen beim Erstellen einer neuen Bibliothek!
Tutorial - Bussysteme in Matlab
Autor: John Kneib
Verbindung zum Fahrzeug
VNC-Verbindung
Von Simulink zu ControlDesk
Aufbau einer virtuellen Kommunikationsumgebung
Fehlermeldung MSVCP140D bei ComTest.exe
Autor: Tim Schonlau, Changlai Bao in WS2022/23
Beim ersten Start fehlen bestimmte Windows Bibliotheken. Das Kompilieren der Datei "ComTest.vcxproj" mit Visual Studio (2019) löst das Problem.
LiDAR
Objekterkennung mit LiDAR Hokuyo URG-04LX
Autor: Michael Deitel Manuel Groß Bearbeitet von: Benedikt Wulowitsch, John Kneib
Inbetriebnahme und Objekterkennung des LiDAR Hokuyo URG-04LX in MATLAB
Autor: Yu Peng
Inbetriebnahme und Objekterkennung des RP Lidar A1M8 in MATLAB
Autor:Thomas Miska
Kommunikation Hokuyo LiDAR via USB
Autor:Isaac Mpidi Bita
Kamera
Umrechnung von Bildkoordinaten ins Weltkoordinatensystem
Spurerkennung (Vorheriger Ansatz)
Autor: Konstantin Wotschel
Objekterkennung mit Kamera VR-Magic
Autor: Christian Hauke 7. Feb. 2014 (CET)
Bildentzerrung und KOS-Transformation mit OpenCV (aktueller Ansatz)
Autor: Luca Di Lillo, Tim Bexten in SS2019
Tests der Kommunikation
| Datum | Link |
|---|---|
| Februar 2019 | Kommunikation zwischen PC und dSpace-Karte via RS232 |
| Januar 2020 | Übertragen des Spurpolynoms |
| Januar 2022 | Kommunikation RS232 zwischen PC und DS1104 |
| Juli 2022 | Kom - Kommunikation: Test der Kommunikation zw. PC und DS1104 |
Wichtige Dokumenten in SVN
- Schnittstellendokumentation
Im SVN ist der aktuelle Stand der Schnittstelle zwischen dSPACE-1104-Karte und PC dokumentiert.
→ SVN: Schnittstellendokumentation
- Namenskonvetion
Im SVN sind Programmierrichtlinien bezüglich Namenskonvention unter: Programmierrichtlinien: Namenskonvention gespeichert.
→ zurück zum Hauptartikel: Praktikum SDE