JetRacer: Autonomous Driving, Obstacle Detection and Avoidance using AI with MATLAB
| Autor: | Evrard Leuteu |
| Art: | Bachelorarbeit |
| Starttermin: | TBD |
| Abgabetermin: | TBD |
| Betreuer: | Prof. Dr.-Ing. Schneider |
Einleitung
Der JetRacer der Firma Waveshare wird gesteuert von einem NVIDIA® Jetson Nano™. Dieser Mini-Computer ermöglicht es, Millionen von kleinen, energieeffizienten KI-Systemen mit unglaublichen neuen Funktionen auszustatten. So entstehen neue Möglichkeiten für eingebettete IoT-Anwendungen, wie zum Beispiel einfache Netzwerkvideorekorder (NVRs), Haushaltsroboter oder intelligente Gateways mit vollen Analysefähigkeiten.
Jetson Nano ist außerdem das perfekte Werkzeug, um die Grundlagen von KI und Robotik zu erlernen – anhand von vorgefertigten Projekten und mit der Unterstützung einer aktiven und leidenschaftlichen Entwicklergemeinde. In unserem Fall steuert die KI einen JetRacer der Firma Waveshare.
In vorherigen Aufgaben wurde der NVIDIA® Jetson Nano™ mit dem MATLAB® GPU Coder programmiert. Die künstliche Intelligenz desd Fahrzeugs wurde angelernt, um in der rechten Fahrspur die Strecke möglicht schnell autonom zu fahren.
Aufgabenstellung
- Einarbeitung in das bestehende Framwework
- Nutzen Sie das vorliegende Videometerial und trainieren Sie das NN mit klassischen Bildverarbeitungsalgorithmen.
- Stellen Sie Objekte (Kartons) auf die rechte Fahrspur. Fahren Sie den JetRacer in der rechten Fahrspur gegen den Uhrzeigersinn mit der Fernbedienung. Umfahren Sie Objekte auf der rechten Fahrbahn, indem Sie auf die linke Fahrbahn wechseln. Zeichnen Sie ein die Fahrt als Video auf.
- Erweitern Sie das NN um eine kamerabasierte Objekterkennung und das Ausweichmanöver.
- Im nächsten Schritt stehen auch Objekte in der linken Spur, so dass sich das Fahrzeug einen doppelten Spurwechsel machen muss.
- Fusion der NN zur Spurführung und Objekterkennung.
- Optional: Erweitern Sie das NN um ein Schildererkennung.
- Optional: Erweitern Sie das NN um ein Stopplinienerkennung.
- Dokumentation nach wissenschaftlichem Stand im HSHL-Wiki
Anforderungen
Das Projekt erfordert Vorwissen in den nachfolgenden Themengebieten. Sollten Sie die Anforderungen nicht erfüllen müssen Sie sich diese Kenntnisse anhand im Rahmen der Arbeit anhand von Literatur/Online-Kursen selbst aneignen.
- Erfahrungen mit Künstlicher Intelligenz/Deep Learning
- Programmierung in MATLAB®
- Dokumentenversionierung mit SVN
Anforderungen an die wissenschaftliche Arbeit
- Wissenschaftliche Vorgehensweise (Projektplan, etc.), nützlicher Artikel: Gantt Diagramm erstellen
- Wöchentlicher Fortschrittsberichte (informativ), aktualisieren Sie das Besprechungsprotokoll - Live Gespräch mit Prof. Schneider
- Projektvorstellung im Wiki
- Tägliche Sicherung der Arbeitsergebnisse in SVN
- Tägliche Dokumentation der geleisteten Arbeitsstunden
- Studentische Arbeiten bei Prof. Schneider
- Anforderungen an eine wissenschaftlich Arbeit
SVN-Repositorium
Nützliche Artikel
- Deploying Deep Neural Networks to GPUs and CPUs Using MATLAB Coder and GPU Coder
- Deep Learning with MATLAB, NVIDIA Jetson, and ROS
- NVidia: JetRacer
- formulaedge.org
- Waveshare Wiki
- FAQ: Matlab to control jetracer(jetson nano tx1) motor
- Towards Autonomous Driving with Small-Scale Cars: A Survey of Recent Development
Literatur
Schreiber, C.: KI-gestützte „Follow-Me“-Funktion am Beispiel des JetRacer. Mittweida, Hochschule Mittweida – University of Applied Sciences, Fakultät Ingenieurwissenschaften, Masterarbeit, 2023. URL: [1]
→ zurück zum Hauptartikel: Studentische Arbeiten