OSE - Objekterkennung im Videobild

BILD EINFÜGEN Autor: M.Anas Habbaba

Einleitung

Die Aufgabe ist die Erkennung von Objekten mit Hilfe der am autonomen Fahrzeug verbauten Kamera. Bei der Kamera handelt es sich um eine VRmDC-12 COB der Firma VRmagic GmbH. Dies Bildaufnahme erfolgt mit einem CMOS-Sensor der Auflösung von 754 x 480 Pixeln bei einer maximale Bildrate von 70 fps in sowohl Farb- als auch Monochrombildern. Der integrierte 600 MHz C64x+ DSP kann zur Bildverarbeitung verwendet werden. Die Bilder der Kamera werden via Ethernet-Schnittstelle an den im Fahrzeug verbauten Computer versendet. Die mitgelieferten Bibliotheken erlaubten einen Zugriff auf die Bilder in Visual Studio.

Für die Erarbeitung eines optimalen Algorithmus kann im ersten Schritt eine Offline-Umgebung in Matlab erstellt werden. Die mit der Kamera aufgenommen Bilder/Videos sind so zu verarbeiten, dass die darauf zu sehenden Objekte (Kopierkartons der Abmaße 21cm x 30cm x 25cm) erkannt werden. Erst im zweiten Schritt folgt die online Anwendung auf dem PC des Fahrzeuges oder DSP der Kamera.

Ihre Aufgaben

• Recherchieren Sie, welche Segmentierungsalgorithmen für die Erkennung von Kartons im Videobild vielversprechend sind. Nutzen Sie hierzu die Vorlesung "Digitale Signal- und Bildverarbeitung" sowie Fachliteratur.
• Skizzieren Sie den Ablauf einer Bildverarbeitung.
• Vergleichen und Bewerten Sie Ansätze zur Objekterkennung anhand fachlicher Kriterien.
• Visualisieren Sie die Objekterkennung an einem Beispiel.
• Führen Sie eine inverse Perspektiventransformation (IVP) durch. Entscheiden Sie sich, ob Sie das Videobild oder das Bildverarbeitungergebnis transformieren. Berücksichtigen Sie dabei extrinsische und intrinsische Kameraparameter.
• Führen Sie einen Matlab Objekterkennung durch. Als Beispiel steht Ihnen eine Videoaufnahme aus dem Bereich Autonomes Fahren zur Verfügung.
• Setzen Sie Ihren Algorithmus mit automatischer Codegenerierung in C um, so dass er in der Umgebung der Bildverarbeitung läuft oder auf dem DSP des Kameramoduls.

Anforderungen

Die Abbildung 2.1 zeigt das Lastenheft

Abbildung 2.1: Das Lastenheft

Die Abbildung 2.2 zeigt die Pflichten, die in MS2 zu erfüllen sind

Abbildung 2.2: Das Pflichtenheft

Funktionaler Systementwurf / Technischer Systementwurf

Hier werden Schritte und Algorithmen beschrieben und verglichen, die am Ende zu Objekttracking führen. Außerdem sind der Datenflussplan und der Mophorogische Kasten zu sehen.

Bilderfassung

Bilderfassung, das ist der Transfer von Bilddaten in den PC, deckt in der Regel den gesamten Weg von der Kamera bis in den Hauptspeicher des PC des Fahrzeugs ab. Dort werden die Bilddaten dann für die nachfolgende Verarbeitung per Software oder zur Speicherung bereitgestellt. Die Bilddaten werden hier über Ethernet-Schnittstelle an den Computer übertragen.

Weiterführende Links

• Matlab Computer Vision Toolbox
• Grundlagen der Bildverarbeitung von Klaus D. Tönnies
• Robotics, Vision & Control von Peter Corke
• Tracking bewegter Objekte in Videosequenzen von Gregory Föll
• Objekterkennung_mit_Kamera von Christian Hauke
• MATLAB: Inverse Perspective Mapping
• MATLAB: Visual Perception Using Monocular Camera

---

→ zurück zum Hauptartikel: SDE Praktikum Autonomes Fahren