JetRacer: Spurführung mit künstlicher Intelligenz: Unterschied zwischen den Versionen

Aus HSHL Mechatronik
Zur Navigation springen Zur Suche springen
Keine Bearbeitungszusammenfassung
 
(11 dazwischenliegende Versionen von 3 Benutzern werden nicht angezeigt)
Zeile 2: Zeile 2:
[[Kategorie:JetRacer]]  
[[Kategorie:JetRacer]]  
[[Datei:JetRacer Waveshare.jpg|thumb|rigth|500px|Abb. 1: JetRacer AI Pro von Waveshare]]
[[Datei:JetRacer Waveshare.jpg|thumb|rigth|500px|Abb. 1: JetRacer AI Pro von Waveshare]]
'''Autor:''' Evrard Leuteu<br/>
'''Autor:''' [[Benutzer:Evrard_Leuteu-Feukeu|Evrard Leuteu]]<br/>
'''Art:''' Projektarbeit<br>
'''Art:''' Projektarbeit<br>
'''Starttermin:''' TBD<br>
'''Starttermin:''' TBD<br>
Zeile 14: Zeile 14:
# Optimierung des Reglers (z.&thinsp;B. PD-Regler)
# Optimierung des Reglers (z.&thinsp;B. PD-Regler)
# Nutzung von MATLAB zum Anlernen des Jetson Nano.
# Nutzung von MATLAB zum Anlernen des Jetson Nano.
# Drive the JetRacer in the right lane counterclockwise with the gamepad controller. Limit the speed via Software to a maximum (e.&thinsp;g. 1&thinsp;m/s).
# Take a video while driving a lap with MATLAB<sup>®</sup> using a MATLAB<sup>®</sup>-script.
# Load the pretrained NN.
# Train the pretrained NN with MATLAB<sup>®</sup> with a MATLAB<sup>®</sup>-App (GUI) by clicking the desired path in the images.
# Option: Use classic lane tracking algorithms to teach the NN automatically.
# Write a PD-contoller that uses the NN to drive in the right lane. Program this in MATLAB<sup>®</sup> and let it run on the JetRacer-GPU using GPU Coder.
# Goal: the car should drive autonomously several laps in the right lane as fast as possible.
<!--
# Nutzung von ROS2 zum Anlernen des Jetson Nano.
# Nutzung von ROS2 zum Anlernen des Jetson Nano.
# Bewertung der Vor- und Nachteile der Programmierungebungen.  
# Bewertung der Vor- und Nachteile der Programmierumgebungen.  
# Auswahl einer KI-Entwicklungsumgebung
# Auswahl einer KI-Entwicklungsumgebung
-->
# Dokumentation nach wissenschaftlichem Stand im HSHL-Wiki
# Dokumentation nach wissenschaftlichem Stand im HSHL-Wiki


Zeile 56: Zeile 65:
* [https://de.mathworks.com/videos/matlab-and-simulink-robotics-arena-deep-learning-with-nvidia-jetson-and-ros--1542015526909.html Deep Learning with MATLAB, NVIDIA Jetson, and ROS]
* [https://de.mathworks.com/videos/matlab-and-simulink-robotics-arena-deep-learning-with-nvidia-jetson-and-ros--1542015526909.html Deep Learning with MATLAB, NVIDIA Jetson, and ROS]
* [https://github.com/NVIDIA-AI-IOT/jetracer NVidia: JetRacer]
* [https://github.com/NVIDIA-AI-IOT/jetracer NVidia: JetRacer]
* [https://www.formulaedge.org/what-is-jetracer]
* [https://www.formulaedge.org/what-is-jetracer formulaedge.org]
* [https://www.waveshare.com/wiki/JetRacer_AI_Kit Waveshare Wiki]
* [https://www.waveshare.com/wiki/JetRacer_AI_Kit Waveshare Wiki]
* [https://de.mathworks.com/matlabcentral/answers/2072946-matlab-to-control-jetracer-jetson-nano-tx1-motor/?s_tid=ans_lp_feed_leaf FAQ: Matlab to control jetracer(jetson nano tx1) motor]
* [https://arxiv.org/html/2404.06229v1 Towards Autonomous Driving with Small-Scale Cars: A Survey of Recent Development]
* [https://www.mathworks.com/help/ros/ug/lane-detection-in-ros2-using-deep-learning-with-matlab.html Lane Detection in ROS 2 Using Deep Learning with MATLAB]
* [https://www.mathworks.com/help/reinforcement-learning/ug/train-dqn-agent-for-lane-keeping-assist.html Train DQN Agent for Lane Keeping Assist]
* [https://developer.nvidia.com/blog/deep-learning-automated-driving-matlab/ Build Neural Networks for Self-Driving Cars with MATLAB]
* [https://developer.nvidia.com/blog/dli-training-deep-learning-for-autonomous-vehicles/ DLI Training: Deep Learning for Autonomous Vehicles]
* [https://www.mathworks.com/videos/machine-learning-with-simulink-and-nvidia-jetson-1653572407665.html Machine Learning with Simulink and NVIDIA Jetson]
* [https://www.researchgate.net/publication/365940001_Comparative_Transfer_Learning_Models_for_End-to-End_Self-Driving_Car Comparative Transfer Learning Models for End-to-End Self-Driving Car]
* [https://www.researchgate.net/publication/349219294_Multi-task_deep_learning_with_optical_flow_features_for_self-driving_cars Multi-task deep learning with optical flow features for self-driving cars]
* [https://www.mathworks.com/help/reinforcement-learning/ug/train-dqn-agent-for-lane-keeping-assist.html Train DQN Agent for Lane Keeping Assist]
* [https://www.researchgate.net/publication/372281750 Real-Time End-to-End Self-Driving Car Navigation]
* [https://github.com/dusty-nv/jetson-inference Hello AI World]
* [https://developer.nvidia.com/embedded/learn/jetson-ai-certification-programs Jetson AI Courses and Certifications]
* [https://forums.developer.nvidia.com/ NVIDIA Developer Forums]
* [[ChatGPT Anleitung für einen Lane Following Algorithmus]]
== Literatur ==
S<span style="font-variant:small-caps">chreiber</span>, C.: ''KI-gestützte „Follow-Me“-Funktion am Beispiel des JetRacer''. Mittweida, Hochschule Mittweida – University of Applied Sciences, Fakultät Ingenieurwissenschaften,
Masterarbeit, 2023. URL: [https://monami.hs-mittweida.de/frontdoor/deliver/index/docId/14754/file/MA_55114_Christian-Schreiber_geschwaerzt.pdf]


----
----
→ zurück zum Hauptartikel: [[Studentische_Arbeiten|Studentische Arbeiten]]
→ zurück zum Hauptartikel: [[Studentische_Arbeiten|Studentische Arbeiten]]

Aktuelle Version vom 23. September 2024, 17:10 Uhr

Abb. 1: JetRacer AI Pro von Waveshare

Autor: Evrard Leuteu
Art: Projektarbeit
Starttermin: TBD
Abgabetermin: TBD
Betreuer: Prof. Schneider

Einführung

Aufgabenstellung

  1. Einarbeitung in das bestehende Framwework
  2. Optimierung der KI für den Rundkurs im Labor Autonome Systeme (Geschwindigkeit, Robustheit).
  3. Optimierung des Reglers (z. B. PD-Regler)
  4. Nutzung von MATLAB zum Anlernen des Jetson Nano.
  5. Drive the JetRacer in the right lane counterclockwise with the gamepad controller. Limit the speed via Software to a maximum (e. g. 1 m/s).
  6. Take a video while driving a lap with MATLAB® using a MATLAB®-script.
  7. Load the pretrained NN.
  8. Train the pretrained NN with MATLAB® with a MATLAB®-App (GUI) by clicking the desired path in the images.
  9. Option: Use classic lane tracking algorithms to teach the NN automatically.
  10. Write a PD-contoller that uses the NN to drive in the right lane. Program this in MATLAB® and let it run on the JetRacer-GPU using GPU Coder.
  11. Goal: the car should drive autonomously several laps in the right lane as fast as possible.
  12. Dokumentation nach wissenschaftlichem Stand im HSHL-Wiki

Anforderungen

Das Projekt erfordert Vorwissen in den nachfolgenden Themengebieten. Sollten Sie die Anforderungen nicht erfüllen müssen Sie sich diese Kenntnisse anhand im Rahmen der Arbeit anhand von Literatur/Online-Kursen selbst aneignen.

  • Erfahrungen mit Künstlicher Intelligenz/Deep Learning
  • Programmierung in C++, Python
  • Dokumentenversionierung mit SVN

Anforderungen an die wissenschaftliche Arbeit

SVN-Repositorium

Getting started

Lesen Sie zum Einstieg diese Artikel

Mögliche Folgethemen

  • Kreuzungserkennung
  • Vorfahrterkennung
  • Hinderniserkennung und Umfahrung
  • Schildererkennung

Nützliche Artikel

Literatur

Schreiber, C.: KI-gestützte „Follow-Me“-Funktion am Beispiel des JetRacer. Mittweida, Hochschule Mittweida – University of Applied Sciences, Fakultät Ingenieurwissenschaften, Masterarbeit, 2023. URL: [1]

→ zurück zum Hauptartikel: Studentische Arbeiten

Abgerufen von „https://wiki.hshl.de/wiki/index.php?title=JetRacer:_Spurführung_mit_künstlicher_Intelligenz&oldid=124653“