Dobble Spiel gegen den Computer

Projektteam: Benedikt Steinmeier Stefan Vogel

Betreuer: Prof. Schneider

Einleitung

Dieser Artikel wurde im Rahmen der Lehrveranstaltung Digitale Signal- und Bildverarbeitung verfasst und dokumentiert die Ergebnisse des Projektes "Dobble Spiel gegen den Computer". Die allgemeinen Ziele der Projekte können im Wiki-Artikel DSB SoSe2016 eingesehen werden.

Aufgabenstellung

Die Aufgabenstellung dieses semesterbegleitenden Projekts bestand daraus, mit Hilfe der Matlab Image Processing Toolbox einen Algorithmus zu entwickeln, der das Gleiche Objekt auf zwei verschiedenen Dobble-Karten findet, anzeigt und markiert.

Durchführung

Allgemeines

Übersicht der Programm Module

Das im Rahmen dieser Semesteraufgabe erstellte Programm besteht aus folgenden Modulen:

• find_same_objects.m
  • Hauptporgramm zur Bildverarbeitung und Objekt Findung

• SameObjectSearchEngine.m & SameObjectSearchEngine.fig
  • Testumgebung um Dobble-Spiel zu simulieren und zur Bildausgabe

• change_circle_area.m
  • Hilfsfunktion für die Testumgebung um den Dobble-Karten einen schwarzen Hintergrund zu geben

• save_teaching_list.m
  • generiert "object_teaching_list.mat",mit allen möglichen Objekten und deren Eigenschaften als Inhalt. "object_teaching_list.mat" wird von der Testumgebung geladen und anschließend an die Funktion "find_same_objects.m" übergeben.

Vorbereitung

Beispiel Dobble Karte

Zu Beginn des Projekts wurden alle Dobble-Karten unter zur Hilfenahme des HSHL Buchscanners der Bibliothek abfotografiert und anschließend vereinzelt. Insgesamt standen 12 Dobble-Karten mit insgesamt 29 verschiedenen Objekten zur Verfügung.

Objekt Teach-Verfahren

Um den Algorithmus das "maschinelle Sehen" und somit die Objekterkennung und Objektunterscheidung zu ermöglichen wurde eine Excel-Liste erstellt, in der jedes Objekt mit seinen jeweiligen Standartabweichungen und Mittelwerten der Farbanteile und Kreisförmigkeit aufgelistet wurden. Dazu wurde sich jedes einzelne Objekt von allen Dobble Karten in Matlab ausgegeben, manuell sortiert und deren Farbanteile und Kreisförmigkeit in die Excel-Liste eingetragen. Die Werte der Standartabweichungen und Mittelwerte sowie die Objektnamen wurden anschließend in die Funktion "save_teach_list.m" eingetragen um eine ".mat"-Datei daraus zugenerien.

Objekterkennung und Segmentierung der Objekte auf den Dobble-Karten

Die Objekterkennung und Segmentierung der einzelnen Objekte auf den Dobble-Karten wird in dem Matlab Script find_same_objects.m durchgeführt. Diese Funktion bekommt ein Bild mit zwei Dobble-Karten, sowie eine Liste mit allen möglichen Objekten und deren Eigenschaften übergeben. Die Rückgabe dieser Funktion besteht aus dem Namen des gefunden doppelten Objekts, sowie die X- und Y-Positionen der beiden gleichen Objekte auf dem Bild.

function [object_name x_pos1 y_pos1 x_pos2 y_pos2] = find_same_objects( image, teach_list)

Merkmalsextraktion

Als Merkmale wurden

• der durchschnittliche Rotton aller Pixel eines Objektes

• der durchschnittliche Grünton aller Pixel eines Objektes

• der durchschnittliche Blauton aller Pixel eines Objektes

• die Kreisförmigkeit des Umrisses eines Objektes

definiert

Die Merkmalsextraktion der Objekte auf den Dobble-Karten glieder sich in folgende Schritte auf:

Ausgangslage

• Umwandeln des Farbbildes in ein Graubild mittels der Funktion "rgb2gray"

• Gaus-Filtern des Graubildes mittels der Funktion "imgaussfilt"

• Umwandeln des Graubildes in ein Binäbild mittels der Funktion "im2bw"

• Ermitteln der Grenzen der zwei runden Dobble-Karten mittels der Funktion "bwboundaries"

• Bestimmen der Maxima und Minima in X- und Y-Richtung der jeweiligen gefundenen Dobble-Karten

• Abspeichern der Dobble-Karten in entsprechenden neuen temporären Bildern

Extrahierte Dobble-Karte

• Weißfärben des Hintergrundes des temporären Bilders mit der jeweiligen Dobble-Karte im Zentrum

• Bestimmen aller Objekte, die sich innheralb von anderen Objekten befinden, in den temporären Bildern mittels der Funktion "bwboundaries"

• Bestimmen der Maxima und Minima in X- und Y-Richtung der gefundenen Objekte

• Extrahieren der Objekte aus der Dobble-Karte

• Füllen von Löchern innerhalb des Objektes

• Entfernen von Regionen, die den Rand schneiden

Extrahiertes Objekt vor Bearbeitung

Extrahiertes Objekt nach Bearbeitung

• Ermitteln der Mediane des Grün-, Blau- und Rotanteils aller übrig gebliebenen Pixel

• Berechenen der Kreisförmigkeit des Objektes

Objekt mit berechneten Merkmalen

• Abspeichern der Parameter für jedes Objekt in einer Liste

Testumgebung: SameObjectSearchEngine.m

Um das Programm, zum Auffinden derselben Objekte des Dobble-Spiels, zu testen wurde eine Testumgebung in Form einer Matlab GUI erstellt und programmiert.(SameObjectSearchEngine.fig und SameObjectSearchEngine.m)

Testumgebungs GUI

Nach Betätigung des „NEW CARDS“ – Taster werden zwei zufällig ausgewählte Dobble-Karten, um einen zufälligen Winkel gedreht und anschließend auf einer zufälligen Position auf einem schwarzen Bild positioniert. Das neu erzeugte Bild wird anschließend an die Funktion „find_same_objects.m“ übergeben, um dieselben Objekte auf den beiden Dobble Karten zu finden. Die Funktion gibt den Name der beiden gleichen Objekte, sowie die deren X und Y Position zurück an die Testumgebung. Die Testumgebung gibt anschließend den Namen bei der Textbox „result“ aus und markiert die gefunden Objekte mit einem roten Kreis (siehe Abbildung oben).

Dokumentation

Link zum Youtube-Video Link zum SVN Ordner

Fazit und Ausblick

Fazit

In diesen Projekt konnten wir gut das gelernte Wissen aus den Vorlesungen praktisch anwenden und vertiefen.

Der von uns programmierte Algorithmus findet in etwa 90% der Fälle die beiden selben Objekte auf den Dobble-Karten. Die Unterscheidung der grünen Objekte (Kaktus, Kleeblatt, Fragezeichen) wird durch diesem Algorithmus noch nicht optimal unterstützt und ist deshalb noch etwas Verbesserungswürdig.

Alles im allen konnten wir aber viel neues zur digitalen Signal- und Bildverarbeitung dazu lernen und unsere Kenntnisse für Matlab erweitern.

Ausblick

Der nächste Schritt wäre die Umsetzung und Erprobung mit Hilfe eines physikalischen Aufbaues mit einer Kamera und z.B. eines Raspberry PI, die das Dobble-Spiel in Echtzeit verarbeitet und das Ergebnis auf einem Monitor ausgibt.

möglicher physikalischer Aufbau

Die Echtzeit Erprobung konnte im Rahmen dieses Semesters leider noch nicht durchgeführt werden.

→ zurück zum Hauptartikel: DSB SoSe2016