JetRacer

YouTube: Waveshare JetRacer Pro AI Kit

Autoren: Marc Ebmeyer; Prof. Dr.-Ing. U. Schneider
Ort: Campus Lippstadt
Art: Praxissemester, Projektarbeit, Bachelorarbeit, Masterarbeit (die Schwierigkeitsstufe ist skalierbar)

Einleitung

Der JetRacer der Firma Waveshare wird gesteuert von einem NVIDIA® Jetson Nano™. Dieser Mini-Computer ermöglicht es, Millionen von kleinen, energieeffizienten KI-Systemen mit unglaublichen neuen Funktionen auszustatten. So entstehen neue Möglichkeiten für eingebettete IoT-Anwendungen, wie zum Beispiel einfache Netzwerkvideorekorder (NVRs), Haushaltsroboter oder intelligente Gateways mit vollen Analysefähigkeiten.

Jetson Nano ist außerdem das perfekte Werkzeug, um die Grundlagen von KI und Robotik zu erlernen – anhand von vorgefertigten Projekten und mit der Unterstützung einer aktiven und leidenschaftlichen Entwicklergemeinde. In unserem Fall steuert die KI einen JetRacer der Firma Waveshare.

Melden Sie sich bei Prof. Schneider wenn Sie an diesem Projekt mit einer studentischen Arbeit teilnehmen möchten.

Themengebiete sind:

Entwicklung auf einem Linux PC
Modellbasierte Entwicklung in einer Simulationsumgebung
Künstliche Intelligenz/Deep Learning
Modellbau
3D-Druck

Aufgabe des JetRacers könnten sein:

Autonome Spurführung
Autonomes Einparken
Schildererkennung
Objekterkennung und Klassifikation
Berücksichtigung von Verkehrsregeln
Sensorerweiterung (Odometrie, IMU,..)
Adaptive Cruise Control (ACC)
Gehäusenetwurf

	NVIDIA Hersteller der NVIDIA® Jetson Nano™ Hardware
	TensorFlow ist ein Open-Source-Framework für maschinelles Lernen und künstliche Intelligenz von Google. Einsatz findet TensorFlow insbesondere bei Deep Learning Anwendungen wie Bilderkennung und Textverarbeitung wie Natural Language Processing oder Spracherkennung.
	OpenCV (englische Abk. für Open Computer Vision) ist eine freie Programmbibliothek mit Algorithmen für die Bildverarbeitung und Computer Vision. Sie ist für die Programmiersprachen C, C++, Python und Java geschrieben und steht als freie Software unter den Bedingungen der Apache 2 License.
	Im Gegensatz zu HTML, CSS und Javascript ist Python eine Allzwecksprache, so dass es für verschiedene Arten der Programmierung verwendet werden kann, nicht nur für die Webentwicklung. Dies kann die Backend-Entwicklung, das Erstellen von Software und das Schreiben von Skripts umfassen.
	TensorRT ist ein Framework für maschinelles Lernen. Es wurde von NVIDIA herausgegeben, um auf deren Hardware KI Algorithmen zu verwenden. TensorRT wurde optimiert um auf NVIDIA GPUs ausgeführt zu werden. Dies ist vermutlich der schnellste Weg Algorithmen auszuführen.
	Keras ermöglicht die schnelle Implementierung neuronaler Netzwerke für Anwendungen des Deep Learnings. Es handelt sich um eine Open-Source-Bibliothek, die in Python geschrieben ist und zusammen mit Frameworks wie TensorFlow oder Theano verwendet werden kann.
	PyTorch ist zur Zeit eines der populärsten Frameworks zur Entwicklung und zum Trainieren von neuronalen Netzwerken. Es zeichnet sich vor allem durch seine hohe Flexibilität und die Möglichkeit aus, Standard-Python-Debugger einzusetzen. Dabei müssen keinerlei Abstriche bezüglich der Trainingsperformance gemacht werden.
	Das Robot Operatong System 2 (ROS2) ist der Nachfolger von ROS1, einem Open-Source-Software-Framework, das sich in den letzten Jahren zu einem der beliebtesten Prototyping-Plattformen für die Entwicklung von Robotern entwickelt hat.

Spezifikation

PC	NVIDIA® Jetson Nano™, PN: 3450 B01, 4 GB 64-bit LPDDR4 @ 25.6 GB, 64-bit Quad-Core ARM A57, 472 GFLOPS @5 W, 128 NVIDIA CUDA® GPU
Kamera	Sony IMX219, 8 MP, 160° Sichtfeld, Auflösung 3280x2464 pixel
Motor	37-520 UPM, 1:10 Übersetzung, 12 V, 740 UPM Leerlaufdrehzahl
Servo	MG996R, 9 kg/cm Drehmoment bei 4,8 V
Akkus	4 Akkus vom Typ 18650, 3,7 V, 2 parallel und 2 in Serie, (maximal 67mm Bauhöhe), Strom (Impulsstrombelastbarkeit) = xx A (xx A)
Display	0,91 inch ILED, 128x32 pixel
Chassis	Aluminiumlegierung
Wireless	NIC AC8265, 2,4 GHz/5 GHz, Bluetooth 4.2
AI Frameworks	TensorFlow, PyTorch, Caffe/Caffe2, Kera und MXNet

Übersicht

Dokumentation

Waveshare JetRacer Wiki

Hardware

Software

Demos

Weiterführende Links

YouTube: Time Trials for Waveshare Jetracer Pro kit V.S. Traxxas Jetracer "DIY" build

YouTube: Carolo Cup 2022 Team KITcar (mit Jetson Xavier NX)

Literatur

Chollet, F.: Deep Learning mit Python und Keras : Das Praxis-Handbuch vom Entwickler der Keras-Bibliothek. Frechen: mitp-Verlag, 1. Auflage 2018. ISBN: 9-7839-5845-8406. URL: HSHL Bib.
Gedigk, S.: Spurerkennung aus Kameradaten mittels maschinellem Lernen. Hamburg: Hochschule für angewandte Wissenschaften Hamburg 2021. URL: 2021GedigkSebastian.pdf
Kim, P.: MATLAB deep learning : with machine learning, neural networks and artificial intelligence. Apress, 2017. URL: HSHL Bib., O'Reilley
Wick, C.: Deep Learning. Informatik-Spektrum volume 40, pages 103–107 (2017). URL: https://doi.org/10.1007/s00287-016-1013-2

Studentische Arbeiten

→ zurück zum Hauptartikel: Robotik und autonome Systeme