Dobble Spiel gegen den Computer
Projektteam: Benedikt Steinmeier Stefan Vogel
Betreuer: Prof. Schneider
Einleitung
Dieser Artikel wurde im Rahmen der Lehrveranstaltung Digitale Signal- und Bildverarbeitung verfasst und dokumentiert die Ergebnisse des Projektes "Dobble Spiel gegen den Computer". Die allgemeinen Ziele der Projekte können im Wiki-Artikel DSB SoSe2016 eingesehen werden.
Aufgabenstellung
Die Aufgabenstellung dieses semesterbegleitenden Projekts bestand daraus, mit Hilfe der Matlab Image Processing Toolbox einen Algorithmus zu entwickeln, der das Gleiche Objekt auf zwei verschiedenen Dobble-Karten findet, anzeigt und markiert.
Durchführung
Allgemeines
Das im Rahmen dieser Semesteraufgabe erstellte Programm besteht aus folgenden Modulen:
- find_same_objects.m
- Hauptporgramm zur Bildverarbeitung und Objekt Findung
- SameObjectSearchEngine.m & SameObjectSearchEngine.fig
- Testumgebung um Dobble-Spiel zu simulieren und zur Bildausgabe
- change_circle_area.m
- Hilfsfunktion für die Testumgebung um den Dobble-Karten einen schwarzen Hintergrund zu geben
- save_teaching_list.m
- generiert "object_teaching_list.mat",mit allen möglichen Objekten und deren Eigenschaften als Inhalt. "object_teaching_list.mat" wird von der Testumgebung geladen und anschließend an die Funktion "find_same_objects.m" übergeben.
Vorbereitung
Zu Beginn des Projekts wurden alle Dobble-Karten unter zur Hilfenahme des HSHL Buchscanners der Bibliothek abfotografiert und anschließend vereinzelt. Insgesamt standen 12 Dobble-Karten mit insgesamt 29 verschiedenen Objekten zur Verfügung.
Objekt Teach-Verfahren
Um den Algorithmus das "maschinelle Sehen" und somit die Objekterkennung und Objektunterscheidung zu ermöglichen wurde eine Excel-Liste erstellt, in der jedes Objekt mit seinen jeweiligen Standartabweichungen und Mittelwerten der Farbanteile und Kreisförmigkeit aufgelistet wurden. Dazu wurde sich jedes einzelne Objekt von allen Dobble Karten in Matlab ausgegeben, manuell sortiert und deren Farbanteile und Kreisförmigkeit in die Excel-Liste eingetragen. Die Werte der Standartabweichungen und Mittelwerte sowie die Objektnamen wurden anschließend in die Funktion "save_teach_list.m" eingetragen um eine ".mat"-Datei daraus zugenerien.
Objekterkennung und Segmentierung der Objekte auf den Dobble-Karten
Die Objekterkennung und Segmentierung der einzelnen Objekte auf den Dobble-Karten wird in dem Matlab Script find_same_objects.m durchgeführt. Diese Funktion bekommt ein Bild mit zwei Dobble-Karten, sowie eine Liste mit allen möglichen Objekten und deren Eigenschaften übergeben. Die Rückgabe dieser Funktion besteht aus dem Namen des gefunden doppelten Objekts, sowie die X- und Y-Positionen der beiden gleichen Objekte auf dem Bild.
function [object_name x_pos1 y_pos1 x_pos2 y_pos2] = find_same_objects( image, teach_list)
Merkmalsextraktion
Als Merkmale wurden
- der durchschnittliche Rotton aller Pixel eines Objektes
- der durchschnittliche Grünton aller Pixel eines Objektes
- der durchschnittliche Blauton aller Pixel eines Objektes
- die Kreisförmigkeit des Umrisses eines Objektes
definiert
Die Merkmalsextraktion der Objekte auf den Dobble-Karten glieder sich in folgende Schritte auf:
- Umwandeln des Farbbildes in ein Graubild mittels der Funktion "rgb2gray"
- Gaus-Filtern des Graubildes mittels der Funktion "imgaussfilt"
- Umwandeln des Graubildes in ein Binäbild mittels der Funktion "im2bw"
- Ermitteln der Grenzen der zwei runden Dobble-Karten mittels der Funktion "bwboundaries"
- Bestimmen der Maxima und Minima in X- und Y-Richtung der jeweiligen gefundenen Dobble-Karten
- Abspeichern der Dobble-Karten in entsprechenden neuen temporären Bildern
- Weißfärben des Hintergrundes des temporären Bilders mit der jeweiligen Dobble-Karte im Zentrum
- Bestimmen aller Objekte, die sich innheralb von anderen Objekten befinden, in den temporären Bildern mittels der Funktion "bwboundaries"
- Bestimmen der Maxima und Minima in X- und Y-Richtung der gefundenen Objekte
- Extrahieren der Objekte aus der Dobble-Karte
- Füllen von Löchern innerhalb des Objektes
- Entfernen von Regionen, die den Rand schneiden
- Ermitteln der Mediane des Grün-, Blau- und Rotanteils aller übrig gebliebenen Pixel
- Berechenen der Kreisförmigkeit des Objektes
- Abspeichern der Parameter für jedes Objekt in einer Liste
Klassifikation der Objekte
Die Klassifikation der Objekte wird mit Hilfe der Funktion "check_attributes(...)" in "find_same_objects.m" vollzogen.
function [return_bool] = check_attributes( red, red_variance, green, green_variance, blue, blue_variance, circle, circle_variance, compare_object_red, compare_object_green, compare_object_blue, compare_object_circle)
% function : check_attributes
%
% description : checks if the current object, which has to be
% identified matches the attributes of the object
% from the teach_list
%
% inputs:
% red: red rate of the object which has to be
% identified
%
% red_variance: red vanriance of the object which has to be
% identified
%
% green: green rate of the object which has to be
% identified
%
% green_variance: green vanriance of the object which has to be
% identified
%
% blue: blue rate of the object which has to be
% identified
%
% blue_variance: blue vanriance of the object which has to be
% identified
%
% cirlce: circle rate of the object which has to be
% identified
%
% circle_variance:circle vanriance of the object which has to be
% identified
%
% compare_object_red: red rate of the object from the
% teach_list
%
% compare_object_green: green rate of the object from the
% teach_list
%
% compare_object_blue: blue rate of the object from the
% teach_list
%
% compare_object_cirlce: circle rate of the object from the
% teach_list
% output:
% return_bool: bool for showing if the object which has to be
% identified, matches the object from the
% teach_list
% true : yes
% false: no
return_bool = false;
if red < (compare_object_red + red_variance) && red > (compare_object_red -red_variance)
if (green <= (compare_object_green + green_variance)) && (green>= (compare_object_green - green_variance))
if (blue <= (compare_object_blue + blue_variance)) && (blue>= (compare_object_blue - blue_variance))
if (circle <= (compare_object_circle + circle_variance)) && (circle>= (compare_object_circle - circle_variance))
return_bool = true;
end
end
end
end
Testumgebung: SameObjectSearchEngine.m
Um das Programm, zum Auffinden derselben Objekte des Dobble-Spiels, zu testen wurde eine Testumgebung in Form einer Matlab GUI erstellt und programmiert.(SameObjectSearchEngine.fig und SameObjectSearchEngine.m)
Nach Betätigung des „NEW CARDS“ – Taster werden zwei zufällig ausgewählte Dobble-Karten, um einen zufälligen Winkel gedreht und anschließend auf einer zufälligen Position auf einem schwarzen Bild positioniert.
Das neu erzeugte Bild wird anschließend an die Funktion „find_same_objects.m“ übergeben, um dieselben Objekte auf den beiden Dobble Karten zu finden. Die Funktion gibt den Name der beiden gleichen Objekte, sowie die deren X und Y Position zurück an die Testumgebung.
Die Testumgebung gibt anschließend den Namen bei der Textbox „result“ aus und markiert die gefunden Objekte mit einem roten Kreis (siehe Abbildung oben).
Dokumentation
Link zum Youtube-Video Link zum SVN Ordner
Fazit und Ausblick
Fazit
In diesen Projekt konnten wir gut das gelernte Wissen aus den Vorlesungen praktisch anwenden und vertiefen.
Der von uns programmierte Algorithmus findet in etwa 90% der Fälle die beiden selben Objekte auf den Dobble-Karten. Die Unterscheidung der grünen Objekte (Kaktus, Kleeblatt, Fragezeichen) wird durch diesem Algorithmus noch nicht optimal unterstützt und ist deshalb noch etwas Verbesserungswürdig.
Alles im allen konnten wir aber viel neues zur digitalen Signal- und Bildverarbeitung dazu lernen und unsere Kenntnisse für Matlab erweitern.
Ausblick
Der nächste Schritt wäre die Umsetzung und Erprobung mit Hilfe eines physikalischen Aufbaues mit einer Kamera und z.B. eines Raspberry PI, die das Dobble-Spiel in Echtzeit verarbeitet und das Ergebnis auf einem Monitor ausgibt.
Die Echtzeit Erprobung konnte im Rahmen dieses Semesters leider noch nicht durchgeführt werden.
→ zurück zum Hauptartikel: DSB SoSe2016