OSE - Objekterkennung im Videobild

Aus HSHL Mechatronik
Zur Navigation springen Zur Suche springen

BILD EINFÜGEN Autor: M.Anas Habbaba


Einleitung

Die Aufgabe ist die Erkennung von Objekten mit Hilfe der am autonomen Fahrzeug verbauten Kamera. Bei der Kamera handelt es sich um eine VRmDC-12 COB der Firma VRmagic GmbH. Dies Bildaufnahme erfolgt mit einem CMOS-Sensor der Auflösung von 754 x 480 Pixeln bei einer maximale Bildrate von 70 fps in sowohl Farb- als auch Monochrombildern. Der integrierte 600 MHz C64x+ DSP kann zur Bildverarbeitung verwendet werden. Die Bilder der Kamera werden via Ethernet-Schnittstelle an den im Fahrzeug verbauten Computer versendet. Die mitgelieferten Bibliotheken erlaubten einen Zugriff auf die Bilder in Visual Studio.

Für die Erarbeitung eines optimalen Algorithmus kann im ersten Schritt eine Offline-Umgebung in Matlab erstellt werden. Die mit der Kamera aufgenommen Bilder/Videos sind so zu verarbeiten, dass die darauf zu sehenden Objekte (Kopierkartons der Abmaße 21cm x 30cm x 25cm) erkannt werden. Erst im zweiten Schritt folgt die online Anwendung auf dem PC des Fahrzeuges oder DSP der Kamera.

Ihre Aufgaben

  • Recherchieren Sie, welche Segmentierungsalgorithmen für die Erkennung von Kartons im Videobild vielversprechend sind. Nutzen Sie hierzu die Vorlesung "Digitale Signal- und Bildverarbeitung" sowie Fachliteratur.
  • Skizzieren Sie den Ablauf einer Bildverarbeitung.
  • Vergleichen und Bewerten Sie Ansätze zur Objekterkennung anhand fachlicher Kriterien.
  • Visualisieren Sie die Objekterkennung an einem Beispiel.
  • Führen Sie eine inverse Perspektiventransformation (IVP) durch. Entscheiden Sie sich, ob Sie das Videobild oder das Bildverarbeitungergebnis transformieren. Berücksichtigen Sie dabei extrinsische und intrinsische Kameraparameter.
  • Führen Sie einen Matlab Objekterkennung durch. Als Beispiel steht Ihnen eine Videoaufnahme aus dem Bereich Autonomes Fahren zur Verfügung.
  • Setzen Sie Ihren Algorithmus mit automatischer Codegenerierung in C um, so dass er in der Umgebung der Bildverarbeitung läuft oder auf dem DSP des Kameramoduls.

Anforderungen

Im Lastenheft ...

Im Pflichtenheft ...


Funktionaler Systementwurf / Technischer Systementwurf

Bilderfassung

Vorverarbeitung

Segmentierungsalgorithmen

Merkmals-extraktion

Klassifikation

Objekttracking

Signalflussplan

Morphologischer Kasten

Komponentenspezifikation

Programmierung

Komponententest

Systemtest

Ergebnisse

Zusammenfassung

Link zum Quelltext in SVN

Weiterführende Links


→ zurück zum Hauptartikel: SDE Praktikum Autonomes Fahren