Version vom 22. Juni 2016, 17:52 Uhr

Projektteam: Benedikt Steinmeier Stefan Vogel

Einleitung

Dieser Artikel wurde im Rahmen der Lehrveranstaltung Digitale Signal- und Bildverarbeitung verfasst und dokumentiert die Ergebnisse des Projektes "Dobble Spiel gegen den Computer". Die allgemeinen Ziele der Projekte können im Wiki-Artikel DSB SoSe2016 eingesehen werden.

Aufgabenstellung

Die Aufgabenstellung dieses semesterbegleitenden Projekts bestand daraus, mit Hilfe der Matlab Image Processing Toolbox einen Algorithmus zu entwickeln, der das Gleiche Objekt auf zwei verschiedenen Dobble-Karten findet, anzeigt und markiert.

Durchführung

Allgemeines

Das im Rahmen dieser Semesteraufgabe erstellte Programm besteht aus folgenden Modulen:

find_same_objects.m
- Hauptporgramm zur Bildverarbeitung und Objekt Findung

SameObjectSearchEngine.m & SameObjectSearchEngine.fig
- Testumgebung um Dobble-Spiel zu simulieren und zur Bildausgabe

change_circle_area.m
- Hilfsfunktion für die Testumgebung um den Dobble-Karten einen schwarzen Hintergrund zu geben

save_teaching_list.m
- generiert "object_teaching_list.mat",mit allen möglichen Objekten und deren Eigenschaften als Inhalt. "object_teaching_list.mat" wird von der Testumgebung geladen und anschließend an die Funktion "find_same_objects.m" übergeben.

Vorbereitung

Zu Beginn des Projekts wurden alle Dobble-Karten unter zur Hilfenahme des HSHL Buchscanners der Bibliothek abfotografiert und anschließend vereinzelt. Insgesamt standen 12 Dobble-Karten mit insgesamt 29 verschiedenen Objekten zur Verfügung.

Objekt Teach-Verfahren

Um den Algorithmus das "maschinelle Sehen" und somit die Objekterkennung und Objektunterscheidung zu ermöglichen wurde eine Excel-Liste erstellt, in der jedes Objekt mit seinen jeweiligen Standartabweichungen und Mittelwerten der Farbanteile und Kreisförmigkeit aufgelistet wurden. Dazu wurde sich jedes einzelne Objekt von allen Dobble Karten in Matlab ausgegeben, manuell sortiert und deren Farbanteile und Kreisförmigkeit in die Excel-Liste eingetragen. Die Werte der Standartabweichungen und Mittelwerte sowie die Objektnamen wurden anschließend in die Funktion "save_teach_list.m" eingetragen um eine ".mat"-Datei daraus zugenerien.

Objekterkennung und Segmentierung der Objekte auf den Dobble-Karten

Die Objekterkennung und Segmentierung der einzelnen Objekte auf den Dobble-Karten wird in dem Matlab Script find_same_objects.m durchgeführt. Diese Funktion bekommt ein Bild mit zwei Dobble-Karten, sowie eine Liste mit allen möglichen Objekten und deren Eigenschaften übergeben. Die Rückgabe dieser Funktion besteht aus dem Namen des gefunden doppelten Objekts, sowie die X- und Y-Positionen der beiden gleichen Objekte auf dem Bild.

function [object_name x_pos1 y_pos1 x_pos2 y_pos2] = find_same_objects( image, teach_list)

Merkmalsextraktion

Als Merkmale wurden

der durchschnittliche Rotton aller Pixel eines Objektes

der durchschnittliche Grünton aller Pixel eines Objektes

der durchschnittliche Blauton aller Pixel eines Objektes

die Kreisförmigkeit des Umrisses eines Objektes

definiert

Die Merkmalsextraktion der Objekte auf den Dobble-Karten glieder sich in folgende Schritte auf:

Umwandeln des Farbbildes in ein Graubild mittels der Funktion "rgb2gray"

Gaus-Filtern des Graubildes mittels der Funktion "imgaussfilt"

Umwandeln des Graubildes in ein Binäbild mittels der Funktion "im2bw"

Ermitteln der Grenzen der zwei runden Dobble-Karten mittels der Funktion "bwboundaries"

Bestimmen der Maxima und Minima in X- und Y-Richtung der jeweiligen gefundenen Dobble-Karten

Abspeichern der Dobble-Karten in entsprechenden neuen temporären Bildern

Weißfärben des Hintergrundes des temporären Bilders mit der jeweiligen Dobble-Karte im Zentrum

Bestimmen aller Objekte, die sich innheralb von anderen Objekten befinden, in den temporären Bildern mittels der Funktion "bwboundaries"

Bestimmen der Maxima und Minima in X- und Y-Richtung der gefundenen Objekte

Extrahieren der Objekte aus der Dobble-Karte

Füllen von Löchern innerhalb des Objektes

Entfernen von Regionen, die den Rand schneiden

Ermitteln der Mediane des Grün-, Blau- und Rotanteils aller übrig gebliebenen Pixel

Berechenen der Kreisförmigkeit des Objektes

Abspeichern der Parameter für jedes Objekt in einer Liste

Klassifikation der Objekte

Die Klassifikation der Objekte wird mit Hilfe der Funktion "check_attributes(...)" in "find_same_objects.m" vollzogen.

function [return_bool] = check_attributes( red, red_variance, green, green_variance, blue, blue_variance, circle, circle_variance, compare_object_red, compare_object_green, compare_object_blue, compare_object_circle)
% function          :   check_attributes
%
% description       :   checks if the current object, which has to be
%                       identified matches the attributes of the object
%                       from the teach_list
%
%       inputs: 
%               red:            red rate of the object which has to be
%                               identified
%               
%               red_variance:   red vanriance of the object which has to be
%                               identified
%
%               green:          green rate of the object which has to be
%                               identified
%               
%               green_variance: green vanriance of the object which has to be
%                               identified
%
%               blue:           blue rate of the object which has to be
%                               identified
%               
%               blue_variance:  blue vanriance of the object which has to be
%                               identified
%
%               cirlce:         circle rate of the object which has to be
%                               identified
%               
%               circle_variance:circle vanriance of the object which has to be
%                               identified
%
%               compare_object_red:     red rate of the object from the
%                                   teach_list
%               
%               compare_object_green:	green rate of the object from the
%                                   teach_list
%
%               compare_object_blue:	blue rate of the object from the
%                                   teach_list
%
%               compare_object_cirlce:  circle rate of the object from the
%                                   teach_list
%       output: 
%               return_bool:    bool for showing if the object which has to be
%                               identified, matches the object from the
%                               teach_list
%                               true : yes
%                               false: no

    return_bool = false;
    if red < (compare_object_red + red_variance) && red > (compare_object_red -red_variance)
        if (green <= (compare_object_green + green_variance)) && (green>= (compare_object_green - green_variance))
            if (blue <= (compare_object_blue + blue_variance)) && (blue>= (compare_object_blue - blue_variance))
                if (circle <= (compare_object_circle + circle_variance)) && (circle>= (compare_object_circle - circle_variance))

                    return_bool = true;

                end
            end
        end
    end

Testumgebung: SameObjectSearchEngine.m

Um das Programm, zum Auffinden derselben Objekte des Dobble-Spiels, zu testen wurde eine Testumgebung in Form einer Matlab GUI erstellt und programmiert.(SameObjectSearchEngine.fig und SameObjectSearchEngine.m)

Nach Betätigung des „NEW CARDS“ – Taster werden zwei zufällig ausgewählte Dobble-Karten, um einen zufälligen Winkel gedreht und anschließend auf einer zufälligen Position auf einem schwarzen Bild positioniert. Das neu erzeugte Bild wird anschließend an die Funktion „find_same_objects.m“ übergeben, um dieselben Objekte auf den beiden Dobble Karten zu finden. Die Funktion gibt den Name der beiden gleichen Objekte, sowie die deren X und Y Position zurück an die Testumgebung. Die Testumgebung gibt anschließend den Namen bei der Textbox „result“ aus und markiert die gefunden Objekte mit einem roten Kreis (siehe Abbildung oben).

Dokumentation

Link zum Youtube-Video Link zum SVN Ordner

Fazit und Ausblick

Fazit

In diesen Projekt konnten wir gut das gelernte Wissen aus den Vorlesungen praktisch anwenden und vertiefen.

Der von uns programmierte Algorithmus findet in etwa 90% der Fälle die beiden selben Objekte auf den Dobble-Karten. Die Unterscheidung der grünen Objekte (Kaktus, Kleeblatt, Fragezeichen) wird durch diesem Algorithmus noch nicht optimal unterstützt und ist deshalb noch etwas Verbesserungswürdig.

Alles im allen konnten wir aber viel neues zur digitalen Signal- und Bildverarbeitung dazu lernen und unsere Kenntnisse für Matlab erweitern.

Ausblick

Der nächste Schritt wäre die Umsetzung und Erprobung mit Hilfe eines physikalischen Aufbaues mit einer Kamera und z.B. eines Raspberry PI, die das Dobble-Spiel in Echtzeit verarbeitet und das Ergebnis auf einem Monitor ausgibt.

Die Echtzeit Erprobung konnte im Rahmen dieses Semesters leider noch nicht durchgeführt werden.

→ zurück zum Hauptartikel: DSB SoSe2016

Dobble Spiel gegen den Computer: Unterschied zwischen den Versionen