Bei der HSHL Lego® Zählmaschine handelt es sich um eine Maschine, die automatisch Legoteile zählen und sortieren kann, um gegebenen Falls fehlende Lego®-Steine nachbestellen zu können. Es ist ein studentisches Projekt, welches in Rahmen des System-Entwurf-Praktikums des Studiengangs Mechatronik mit Schwerpunkt System Design Engineering im 7. Semester durchgeführt wurde. ^[1] ^[2]

Autoren: Adam Fankhauser, Christo Tsibadze, Kevin Penner, Niklas Lingenauber, Sergej Krause, Simon Hanemann

Betreuer: Prof. Schneider, Prof. Goebel

Aufgabenstellung

Die vorhandene Legoteilzählmaschine (siehe Legoteilzählmaschine_2016 ) soll Soft- und Hardwaremäßig modifiziert werden, um drei wichtigsten Anforderungen zu erfüllen. Die Vereinzelung bzw. Separierung der Legoteile soll verbessert werden damit in Bildverarbeitungsbox nur einzelne Legoteile zugeführt werden. Für die Bildverarbeitung bzw. Legoteilerkennung soll ein neuer Ansatz entwickelt werden. Bisherige Ansätze konnten Merkmale bei einigen Legoteilen teilweise ungenau ermitteln. Die größten Probleme gab es bei schwarzen und braunen Legoteilen, sowie an Licht-reflektierenden Flächen der Legoteile und bei Schattenbildung. Nach der Legoteilerkennung wurde bisher nur binär sortiert, erkannt und nicht erkannt. In diesem Semester soll ein Konzept aufgestellt und zum Teil realisiert werden. ^[1]

Aufgabenteilung

Die in der Aufgabenstellung genannten wichtigsten Arbeitspakete wurden wie folgt in drei Teams aufgeteilt:

Adam Fankhauser, Niklas Lingenauber:
- Separierung:
  - neues Konzept zur Separierung der Legoteile
    - Umbau der Legoteil-Zählmaschine
    - Erkennung von Legoteil-Gruppen
- Weitere Aufgaben:
  - Entwurf einer Steuerplatine zur Realisierung des neuen Konzeptes
  - Elektronik

Kevin Penner, Christo Tsibadze:
- Bildverarbeitung: Neuer Ansatz für bessere Farb- und Merkmalerkennung der Teile
  - Ablauf der Bildverarbeitung / Legoteilerkennung
  - Schnittstellen
  - Mechanischer Aufbau Neuer BV-Box
  - Matlabimplementierung
    - Ablaufplan
    - Parametrisierung der Kamera
    - Automatische Kalibrierung der Kamera
    - Legoteilerkennung
- Weitere Aufgaben:
  - "Abflussrohr", Transportsrohr für Legoteile (Bildverarbeitungsbox --> Sortierung)
  - "Drosselklappe", Prototyp für Separierung in Y-Richtung
  - Kommunikation mit Arduino

Simon Hanemann, Sergej Krause:
- Sortierung:
  - Konzepte verschiedener Sortierverfahren
  - Realisierung eines Linearläufers
  - Hardwareaufbau der Sortierungskästen
  - Programmierung des Linearläufers mithilfe des GeckoDrive
  - Hardwaresicherung für Linearläufer
- Weitere Aufgaben:

^[1]

Projektplan

Meilensteine für das 7. Semester mit oder ohne Deadlines: UNTER BEARBEITUNG

^[1] ^[3]

Realisierung

Gruppe: Separierung

^[4] ^[3]
Die Ergebnisse des vorausgegangene Praktikums haben aufgezeigt, dass eine Vereinzelung der Legoteile mit dem vorhandenen Aufbau schwer zu verwirklichen ist (siehe Semster 2016 Fazit). Durch das Befüllen des Bunkers mit einer Vielzahl an Legoteilen lässt sich die Anzahl der sich auf den Fließbändern befindlichen Teile nur schwer steuern. Ein langsameres Besteuern des Bunkers reicht nicht aus, da sich bereits die Anzahl der mit einer Ladungszufuhr transportierten Legoteile nicht durch das In-Reihe-Schalten zwei unterschiedlich schnell laufender Bänder separieren lässt. Hinzu kommt, dass das Anbringen von Hindernissen auf dem ersten Förderband nicht wie gewünscht die Legoteil-Gruppen auseinander zieht und gelegentlich durch verklemmte Teile die Legoteilzufuhr zur Bilderkennung verstopft. Dies hat in Kombination mit den Problemen bei der Sortierung von Legoteilen nach dem Erkennungsprozess dazugeführt, dass eine Überarbeitung des Gesamtkonzeptes notwendig war, um eine zuverlässige Legoteil-Zählmaschine realisieren zu können.

neues Konzept zur Separierung der Legoteile

Das neue Konzept zur Separierung besteht aus einer eigenen Bilderkennungsbox, in der zu erkennen ist, ob sich mehrere Legoteile zur selben Zeit in ihr befinden. Ist dies der Fall, sind zwei Luftdüsen, die am Ausgang der Box angebracht sind und entgegen der Laufrichtung des Fließbandes zeigen, anzusteuern, um die Teile zurückzuwerfen. Da das Fließband weiterläuft, werden die Legoteile zurück in die Bildverabeitung befördert und können für den Fall, dass sie vereinzelt sind, die Fotobox passieren und in die Bilderkennung für die Legoteilerkennung zu gelangen. Ist dies nicht der Fall werden erneut die Düsen angesteuert, um die Legoteile zurückzuwerfen. Bei diesem Konzept der Separierung kann auf ein zweites Förderband zunächst verzichtet werden.

Umbau der Legoteil-Zählmaschine

Um das angesprochene Konzept umzusetzen, mussten einige Komponenten an der Legozählmaschine umgebaut und angepasst werden (siehe Abbildung X). Zum einen wurde das kurze Förderband entfernt, sodass nur noch das lange verwendet wird. Am Anfang des Förderbandes wurde der Bunker platziert, der die Legoteile auf das Band befördert. Die Box zur Bilderkennung befindet sich nach wie vor mittig auf dem langen Förderband. Am Ausgang der Box wurden zwei Luftdruckdüsen angebracht, mit denen die Legoteilgruppen zurückgeworfen werden können. Unter dem Förderband wurde ein Ventilinsel platziert, mit der sich alle Luftdruckdüsen des Systems steuern lassen. Diese muss allerdings direkt mit einer Luftdruckversorgung verbunden sein. Am Ende des langen Laufbandes wurde eine neue Bildverarbeitungsbox angebracht, in der die Legoteile erkannt werden (weitere Informationen hierzu sind im Kapitel "Gruppe: Bildverarbeitung/Legoteil-Erkennung" zu finden). Diese wurde schräg montiert, sodass Legoteile hineinrutschen können. Über ein Abwasserrohr, welches seitlich an der Box angebracht wurde, können nach der Erkennung die Legoteile in die Sortierung befördert werden (siehe Kapitel "Gruppe: Sortierung"). Um Platz zur Umsetzung einer Sortieranlage zu schaffen, wurde der Stromkasten vor Kopf der Anlage platziert.

Erkennung von Legoteil-Gruppen

Zur Umsetzung der Separierung wurde eine Funktion entwickelt, die Gruppen von Legoteilen erkennen soll und die Separierung per Luftdruck durchführt.

Programmablauf (siehe Abbildung X)
Zu Beginn der Separierungsfunktion müssen zunächst Steuerbefehle zur Betreibung der Anlage erteilt werden. Dazu gehört die Einrichtung einer Seriellen Schnittstelle mit dem steuernden Arduino. Außerdem sind Einstellungen an der Webcam vorzunehmen, um Fehler durch unterschiedliche Kameraparameter zu verhindern. Diese können beispielsweise durch Kalibrierungsfunktionen entstehen. Neben der Definition von weiteren Parametern, mit denen sich beispielsweise der betrachtete Bereich im inneren der Bildverarbeitungsbox einstellen lässt, wird die Anlage automatisch gestartet, d.h. es sind die Laufbänder zu starten und das Licht in der Fotobox einzuschalten. Nach dem die Anlage gestartet wurde, wird die eigentliche Funktion der Legoteil-Gruppenerkennung gestartet. Es wird ein Bild vom Innenraum der Bildverarbeitung aufgenommen (siehe Abbildung X, oben links) und anhand der zuvor eingestellten Parameter so zugeschnitten, dass Bildränder und weitere uninteressante Bereiche wie der unmittelbare Ein- und Ausgangsbereich entfernt werden. Anschließend wird das Bild so gefiltert, dass nur noch die Legofarben Inhalt des Bildes sind. Das Ergebnis wird dabei in ein Binärbildumgewandelt, die Erkennung der Farben wird durch mehrere Unterfunktionen realisisert. Die entstandenen Bilder werden von kleinen Pixelelementen entfernt, und Lücken im Inneren der Objekte geschlossen. Anschließend werden die Bilder zu einem zusammengeführt. Durch Labeln der Pixelgruppen kann nun die Anzahl der Objekte im Raum bestimmt werden (siehe Abbildung X, unten liks). Anschließend wird ein zweiter Zuschnitt des Bildes vorgenommen, der einen kritischen Bereich betrachtet. Dieser Bereich liegt an einer Stelle, an der die Luftdruckdüsen präzise auf die Legoteile ausgerichtet sind. Außerdem handelt es sich hieberi um einen dünnen Streifen, der die Breite des Förderbandes aber zwingend abdecken muss. Nach dem erneuten Zuschnitt des Bildes wird ausgewertet, wie viele verschiedene Label in diesem Bereich vertreten sind (siehe Abbildung X, rechts). Befindet sich mehr als ein Objekt im kritischen Bereich, sind die Luftdruckdüsen anzusteuern, da die Legoteile nicht separiert in der Legoteilerkennung ankommen würden. Befindet sich ein oder kein Legoteil in diesem Bereich, werden die Düsen geschlossen und die Teile werden in die Legoteilerkennung befördert. Das Ergebnis der Software wir in Abbildung X in der Überschift oben links ausgegeben. Diese Funktion muss während des gesamten Programmablaufs durchgeführt werden. Wird das Programm beendet, wird die Anlage gestoppt, d.h. das Licht und die Motoren werden ausgeschaltet.

Verbesserungsmöglichkeiten der Software
Aufgrund des hohen Zeitaufwandes des Anlagenumbaus und einer später Lieferung der Pneumatik, konnte die Software nicht ausgibig im Betrieb getestet und nicht optimiert werden. Erste Schnelltests haben jedoch gezeigt, dass die Legoteile bei einer großen Anzahl in der Bildverarbeitungsbox durch gegenseitige Behinderung die Box nicht mehr verlassen und gegen den unteren Rand des Eingangsbereiches der Box stoßen. Dadurch werden die Teile nicht ausreichend weit zurückgeworfen. Da in die aktuelle Version der Software noch kein Stoppen des Bunkers integriert ist, sobald mehrere Teile in der Box erkannt werden, werden zeitgleich weitere Teile in die Bildverarbeitung transportiert. Dies führt zu einer durchgängigen Aktivierung der Düsen. Eine Bunkeransteuerung in Abhängigkeit des Auswertungsergebnisses ist durch eine zusätzliche Verwendung der Seriellen Schnittstelle leicht umzusetzen. Weitere Abhilfe sollte die Vergrößerung des Eingangsbereiches schaffen, sodass zurückgepustete Legoteile die Bildverarbeitung wieder verlassen können. Ein weiterer Aspekt ist, dass über- oder direkt aneinanderliegende Legoteile mit dem aktuellen Algorithmus als ein Teil erkannt und durchgelassen werden. Dies kann dadurch verbessert werden, dass z.B. durch die Verwendung von Besen und Abstreifern das Übereinanderliegen der Legoteile verhindert wird. Außerdem kann beispielsweise ermittelt werden, ob erkannte Objekte aus unterschiedlichen Farben bestehen. Ist dies der Fall, handelt es sich nicht um ein Teil, sondern um mehrere. Dies würde die Wahrscheinlichkeit reduzieren, dass mehrere Legoteile in die Bildverarbeitung der Legoteilerkennung gelangen. Des Weiteren ist es denkbar, die beiden Luftdruckdüsen einzeln anzusteuern. Dadurch kann möglicherweise erreicht werden, dass bei einer geringen Anzahl an Legoteilen nebeneinander, nicht alle zurückgeworfen werden und eines dennoch durchlaufen kann. Dazu muss jedoch sowohl die Ausrichtung der Luftdüsen als auch die Erkennung der Algorithmen dahingehend angepasst werden, dass erkannt werden kann, welche Düse zu betätigen ist und welche Auswirkungen dies auf die Legoteile hat. Eine weitere Unterstützung der Separierung wäre möglich, in dem das Fließband und der Bunker angehalten werden, sobald ein Legoteil in der Bildverarbeitungsbox der Legoteilerkennung erkannt wird. Wurde dieses aus der Box entfernt, könnten beide Bänder wieder gestartet werden.

Weitere Aufgaben

Entwicklung einer Steuerplatine zur Realisierung des neuen Konzeptes

Um den Umbau zu betreiben war es notwendig, die Funktionen der Schaltplatine zu erweitern. Die eingebaute Steuerplatine war auf den Arduino augesattelt und bezog direkt über die eingesteckten Pins die Steuersignale und die 5 V Versorgungsspannung. Mit dieser Platine ist es möglich, drei Motoren mit Strom zu versorgen, bzw. über ein PWM Signal zu steuern. Zusätzlich konnten noch zwei Servomotoren und zwei Infrarotsendoren betrieben werden. Durch den die Konzeptänderung der Separierung und der Bildverarbeitung wurde es notwendig, weitere Schaltfunktionen hinzuzufügen. Die Bildverarbeitung benötigte schaltbares Licht, um zwischen Durch- und Drauflicht in der Bildverarbeitungsbox umschalten zu können. Die Ansteuerung des Lichts sollte wie bei den Motoren vom Arduino erfolgen. Außerdem war die Spannungsversorgung der Bildverarbeitungsbox bisher immer ein eigenes Netzteil mit Anschluss für die Steckdose. Zusätzlich zum schaltbaren Licht kam noch die Schaltung Pneumatik hinzu. Auch diese sollte vom Arduino aus gesteuert werden. Die Ventilinsel wird per 24 V Signalen angesteuert. Die Motoransteuerung musste auch bei der neuen Steuerplatine wieder per MOSFETs geschehen, da die Geschwindigkeit hier per PWM Signal gesteuert wird. Die Lichtansteuerung der LED Streifen in den Bildverarbeitungsboxen sollte ebenfalls per MOSFET geschehen, da die Schaltfrequenz gegebenfalls recht hoch werden kann und mechanische Relais nicht für höhere Schaltfrequenzen ausgelegt sind. Außerdem benötigen diese eine 12 V Versorgungsspannung. Hier gab es die Option auf einen weiteres Netzteil, um aus 230 V Netzspannung die 12 V Spannung für die LEDs herzustellen, allerdings ist ein eigenes Netzteil hierfür zu teuer und der Umbau zu aufwendig. Daher wurden auf der Steuerplatine noch Linearspannungsregler vorgesehen, die aus der vorhandenen 24 V Versorgungsspannung der Motoren 12 V erzeugen sollen. Bei der Ansteuerung der Ventilinsel gab es ebenfalls zwei Optionen. Man hätte Relais nutzen könne, z.B. Solid State Relais, welche die Arduino-Ausgänge nicht zu stark belasten. Die andere Option war die Nutzung der selben MOSFETs, wie schon bei der Ansteuerung der Motoren und des Lichts. Der Schaltplan der Platine wurde in Multisim erstellt. Der Leiterplattenentwurf wurde in Ultiboard erstellt. Gefräst wurde die Platine in der Hochschule.

Elektronik

Gruppe: Bildverarbeitung/Legoteil-Erkennung

^[1] ^[5]

Im vorherigen Semster stellte sich heraus, dass bei dem bestehenden Konzept zur Erkennung von Legoteilen Probleme aufgetaucht sind. Darunter die Erkennung von schwarzen und braunen Legoteilen. Aber auch Schattierungen und Lichtrefelxionen an Legoteilen verfälschten die Merkmale so(z.B. Flächeninhalt), dass oftmals keine Klassifikation stattfinden konnte aufgrund von Nichtübereinstimmungen zwischen gemessenen Merkmalen und hinterlegten Merkmalen in der Datenbank (siehe Semster 2016 Fazit). So wurde ein neues Konzept mit einer neu angefertigten Kamerabox geplant und realisiert, da die Probleme softwaretechnisch nicht zu lösen waren.

Schnittstellen

Damit die Bilverarbeitung und damit auch das Erkennen der Legoteile erfolgreich verlaufen kann, müssen zunächst die Legoteile vereinzelt in die Bildverarbeitungsbox gelangen (Link zum Wikiteil mit der Separierung einfügen!!!). Sobald ein Legoteil erkannt wurde, wird es aus der Box per Druckluft gefördert und muss anschließend sortiert werden. Damit das Legoteil richtig sortiert wird, wird dem jeweiligen Legoteil anhand der ID eine Box zugeorndet. Der Schnittstellenplan lässt sich zusammengefasst folgendermaßen darstellen:

Mechanischer Aufbau

Grober Ablauf der Legoteilerkennung

Abbildung 3: Grober Ablaufplan Legoteilerkennung

Matlabimplementierung

Das einzelne Programm für die Erkennung von Legoteilen befindet sich hier: Bildverarbeitung_Main_V1. Die einzelne Funktion für ein späteres Gesamtprogramm wurde ebenfalls geschrieben und befindet sich hier: AutomatischesZaehlen. der Funktion wird ein kalibriertes Kameraobjekt, die Schnittstelle zur Datenbank, die serielle Schnittstelle zum Arduino und das Kalibrierbild übergeben. Als Rückgabewert wird eine Liste mit den gezählten Legoteil-IDs zurückgegeben.

Ablaufplan:

Parametrisierung der Kamera:
Für die Einstellungen der Paramter wurde das Matlabtool Image Acquisition Toolbox benutzt. Dort wurden einzelne Parameter so ausgetestet/eingestellt, dass sich zum einen die Legoteile beim Durchlichtverfahren gut vom Hintergrund abgrenzen und zum anderen die unterschiedlichen Legofarben beim Auflichtverfahren erkennen lassen. Folgende Einstellungen wurden getroffen:

cam.BacklightCompensation = 0;
cam.Tilt = 0;
cam.Sharpness = 128;
cam.Pan = 0;
cam.Saturation = 128;
cam.Brightness = 128;
cam.Contrast = 128;
cam.Gain = 0;

cam.ExposureMode = 'manual';
cam.FocusMode = 'manual';
cam.WhiteBalanceMode = 'manual';

cam.WhiteBalance = 4000;
cam.Focus = 10;
cam.Exposure = -3;

Kamera-Kalibrierung:
Obwohl die Parameter der Kamera konstant und unverändert waren, stellte sich heraus, dass das Bild der Kamera bei einigen Programmstarts trotzdem heller war. Um Neustarts des Programms zu vermeiden wurde so eine Kalibrierfunktion geschrieben, welche anhand eines aufgenommenen Bildes erkennt, ob die Kameraeinstellungen korrekt vorgenommen.
Dabei wird in einer Schleife ein Kameraobjekt erzeugt und mit den oben aufgeführten Einstelllungen/Parametern versehen. Nun wird ein Bild mit diesen Einstellungen geschossen (im Auflichtverfahren) und mit einem zuvor gespeicherten Bild (siehe Abbildung 4), welches die richtigen Einstellungen beinhaltet, verglichen. Sollten sich die durchschnittliche Helligkeiten der Bilder Unterschiede aufweisen, wird das Kameraobjekt neu erzeugt und der Vorgang wiederholt sich, bis die richtigen Einstellungen getroffen wurden.
Zusammenfassend beschreibt folgendes Diagramm den Ablauf der Selbstkalibrierung:

Das Kalibrierbild befindet sich im folgenden Ordner: Calib_Img und die Kalibrierfunktion hier: Cam_Configuration_Check_V1

Legoteilerkennung:
Die Legoteilerkennung erfolgt in einer Schleife, in welcher jeder einzelne Frame ausgewertet wird. Zum Beenden der Schleife und damit des Programms muss hier die Escape-Taste gedrückt werden.

Vorverarbeitung, Segmentierung & Nachverarbeitung:
Zunächst wird das im Durchlichtverfahren aufgenommene Bild zugeschnitten, damit unnötige Bildregionen nicht bearbeitet werden müssen. Die Anzahl an Pixeln, welche in Höhe und Breite weggeschnitten werden, wurde experimentell ermittelt und so ausgelegt, dass sich das größte Legoteil immer im Blickfeld befindet.
Daraufhin erfolgt die Binarisierung bzw. Segmentierung. Die Schwellwerte für die jeweiligen Farbkanäle und die Funktion zur Binarisierung wurden mithilfe des Matlabtools Color Thresholder ermittelt. Sollte sich im Laufe des Projektes die Kamerabox verändern (z.B. mehr LEDs eingebaut oder ein anderer Lichteinfall) muss diese Funktion ersetzt werden, da es sonst zu Segmentierungsfehlern kommen kann.

Die Funktion zur Segmentierung findet man hier: createBinary_V3
Im Anschluss werden noch kleine, einzelne Pixel im Hintergrund und im Legoteil gelöscht. Damit ist das Bild bereinigt und vollständig segmentiert.

Legoteilerfassung:
Damit ein Legoteil erfasst werden kann, müssen folgende Kriterien eingehalten werden:

Legoteil muss sich an der Kante befinden
Legoteil muss sich in einer Ruhelage befinden
Es darf nur ein Legoteil im Bild vorhanden sein

Sollte mehr als ein Legoteil ein Bild sein, werden alle vorhandenen Legoteile in der Box herausgepustet und als "nicht erkannt" deklariert.

Farbliches Merkmale extrahieren:

Damit die Farbe erkannt werden kann, wird das Auflichtverfahren angewendet. Die Funktion "FARBERKENNUNG_V2" bekommt als Übergabewerte zwei Matrizen:

RGB-Bild aus Auflichtverfahren und Binärbild vom erkannten Objekt
mit Hilfe der Übergabeparameter wird eine 3D-Farbmaske erstellt (3D --> RGB).
- Farbmaske: Aus dem Originalbild werden nur die Pixel in die Masken übernommen, die im Binärbild dem Objekt zugeordnet werden können (weiße Pixel)
Anschließend werden Mittelwerte für Rot-, Grün- und Blau-Anteil berechnet.

Zuordnung zur nächstgelegenen Farbe:

Es werden die RGB-Mittelwerte mit einer Farbtabelle verglichen:
- die Differenzen von jedem Farbanteil zur Farbtabelle werden ermittelt. Davon werden die Differenzen des Farbanteils mit dem größten Wert (Abweichung) gespeichert.
- Anschließend wird der minimalste Wert von den maximalen Abweichungen ermittelt --> Es wird genau die Farbe ermittelt, welches die kleinste Abweichung zu der Legoteil-Farbe hat.

Die ermittelte Farbe wird als String zurückgegeben. Es können weitere Farben im Nachhinein hinzugefügt werden oder Farbschwellwerte verändert werden, falls sich die Lichtverhältnisse in der Kamerabox durch Umbauten verändern.

Geometrische Merkmale extrahieren:

Abbildung 9: geometrische Merkmalsextraktion

Die Funktion "Merkmalsberechnung_V3" erhält als Übergabeparameter ein Binärbild eines einzelnen Objektes (Legoteil). Aus diesem Objekt werden dann folgende Merkmale extrahiert, welche dann zurückgegeben werden:

Umfang --> Anzahl der Pixel, die sich am Rand des Objektes befinden
Fläche --> Anzahl der Pixel, die sich innerhalb des Objektes befinden (Löcher ausgeschlossen)
Flächenschwerpunkt --> Pixelkoordinaten {x/y}
Minimaler Abstand von Flächenschwerpunkt zu äußerem Rand des Objektes
Maximaler Abstand von Flächenschwerpunkt zu äußerem Rand des Objektes

Die Berechnung der Fläche erfolgt über die Summenbildung der Zeilen und Spalten des Binärbildes. Da so nur die weißen Pixel addiert werden, handelt es sich hierbei nur um die Pixel, die zum Objekt gehören.
Die Schwerpunktskoordinaten lassen sich mit der Matlab-Funktion Regionprops berechnen, welche als Übergabeparameter das Binärbild des Objektes und die Option 'centroid' erhält.
Mithilfe des Kantenbildes des Objektes (erzeugt mit der Matlab-Funktion bwperim), kann eine Liste mit allen Kantenkoordinaten erstellt werden (Matlab-Funktion: Regionprops(Kantenbild, 'Pixellist')). Aus der Differenz zwischen jedem einzelnen dieser Kantenpixel und dem Schwerpunkt bestimmt man nun die Abstände vom Schwerpunkt zum Rand, welche nach minimalen und maximalen Wert durchsucht werden. Anhand der Größe der Kantenpixelliste kann außerdem der Umfang des Objektes bestimmt werden.
Diese Merkmale dienen, zusätzlich zu der Farbe des Objektes und die Anzahl der Löcher im Objekt, als Indikatoren für den Abgleich zwischen aktuellen Legoteil in der Box und den hinterlegten Daten in der Datenbank.
Sollten sich herausstellen, dass diese Merkmale nicht genügen, um alle Legoteile voneinander unterscheiden zu können, sind weitere Merkmalsberechnungen möglich (z.B. Die Seitenlängen einer um das Objekt aufgespannten Boundingbox).

Herauspusten der Legoteile:
Sobald alle Merkmale erfasst wurden, werden diese mit einer Datenbank abgeglichen und einer Legoteil-ID zugeordnet, anhand derer man die zugehörige Box (des Linearläufers) ermittelt und mitteilt. Danach erfolgt das Herauspusten des Legoteils aus der Kamerabox. Um herauszufinden, wann der Herauspusten beendet werden kann, wird das aktuelle Kamerabild (bei Auflichtverfahren) mit dem Kalibrierbild verglichen. Sollten hier keine großen unterschiede vorliegen, ist die Box leer und das Ventil der Druckluftdüse kann geschlossen werden.

Teach In

Coming soon

Gruppe: Sortierung

Die SDE-Gruppe von dem Semester 2016/2017 hat sich dafür entschieden, einen Linearläufer einzusetzen. Im folgenden Bild wird schematisch der Aufbau und Ablauf der Sortierung dargestellt.

Es wurden noch weitere Konzepte ausgearbeitet. Mögliche Ansätze für zukünftige Optimierungen des Auswerfers findet man [hier].^[2] ^[6]

Schaltplan des Linearläufers

Verdrahtung des GECKODRIVES. Der GECKODRIVE befindet sich im Schaltschrank. Er gibt die Schritte für den Schrittmotor des Linearläufers

Klemme (Gecko)	Bezeichnung		Überträgt	Klemme (Netzteil)	Zusatz-Information
Geckodrive-> 24V-Netzteil
1	GND	Schwarz	Ground	GND	---
2	24V	Rot	Spannung	24V	18-80 VDC

Klemme (Gecko)	Bezeichnung		Überträgt		Zusatz-Information
Geckodrive-> Stecker des Schrittmotors
3	WINDING A+	Gelb	Schritte	PIN1 (Weiß)	Phase 1
4	WINDING A-	Blau	Schritte	PIN2 (Braun)	Phase 1
5	WINDING B+	Rot	Schritte	PIN3 (Blau)	Phase 2
6	WINDING B-	Schwarz	Schritte	PIN4 (Schwarz)	Phase 2

Klemme (Gecko)	Bezeichnung	Farbe		Überträgt		Zusatz-Information
Geckodrive-> Stoppschalter -> Arduino
7	DISABLE		Blau	Signale	GND	Benötigt einen 33kΩ-Pulldown Widerstand
---	5V	---		Spannung	5V	Versorgt den Not-Stopp-Schalter des Linearläufers

Anmerkung: Sollte der Linearläufer zu nah an das Ende seiner Schiene kommen, so betätigt er einen der Stoppschalter. Diese schalten den Geckodrive aus und somit auch den Schrittotor. Im Notfall wird somit die Hardware geschont.

Klemme (Gecko)	Bezeichnung		Überträgt	Klemme (Arduino)	Zusatz-Information
Geckodrive-> Arduino
8	DIRECTION	Gelb	Signale	D5	Gibt die Richtung an
9	STEP	Blau	Signale	D6	Gibt die Schritte an
10	COMMON	Rot	Signale	D7	Ein/Aus des Geckodrives

^[2] ^[6]

Einstellung des Geckodrives

	Ohne Last	Auf max. Geschwindigkeit entgegen der Richtung des motors	Auf max. Geschwindigkeit in Richtung Motor)
Elektrische Charakteristiker des Linearläufers
Spannung	24 V	22 V	24 V
Strom	0.63 A	2.02 A	1,60 A
Leistung	15,12 W	44,44 W	35,19 W

Motor: MOT-AN-S56(NEMA23)

0,55m / 1,81 s = 0,304 m/s Richtung ende mit der Einstellung von F = 1000000 0,55m / 1,42 s = 0,387 m/s Richtung Motor mit der Einstellung von F = 1000000

Pin Options am GeckoDrive G201X:
1-5 Stromstärke einstellen eingestellt auf 4,4 AMPS

PIN		Schaltstellungen des Geckodrives
1	ON
2	OFF
3	OFF
4	ON
5	OFF
6	ON
7	ON
8	ON
9	ON
10	ON

Hinweis:

6-8 Keine Funktion bei dem NEMA-23
9 Auto Standby um den Motor bei stillstand auf 70% der Stromstärke zu drosseln um die Hitzeentwicklung zu reduzieren.
10 auf ON wenn mit NEMA-23 Motoren gearbeitet wird. (Es wird ein NEMA-23 Motor verwendet!)

^[2] ^[6]

Evaluation der Druckluftdüsen

Der vollständige Bericht befindet sich im SVN unter
...\Dokumentation\16_Pneumatik\Evaluation_der_Druckluftdüsen.docx

Im ersten Test wurden verschiedene Legoteile und den unten in der Tabelle genannten Düsen getestet. Ziel des Versuches war es heraus zu finden, welche Legoteile sich am besten für den Test der Düsen eigen. In dem Test stellte sich heraus, dass sie Komplexität der Form der Legoteile kaum Einfluss auf das Ergebnis hat. Dies ist auf das geringe Gewicht und die großen Oberflächen der Legoteile zurückzuführen.

Im zweiten Test wurden getestet wie weit die Düsen die Legoteile bei einmaligen betätigen bewegen können. Ein Teil muss dabei mindestens eine Strecke von 20 cm überwinden können. In dem Test zeigte sich, dass die Testergebnisse von der punktuellen Düse nur dann sinnvolle Ergebnisse erzielen, wenn das Objekt mit einem optimalen Angriffswinkel getroffen wird. Deshalb schwanken die Messwerte auch sehr stark im Test. Dies ist sehr ungünstig da die Lage der Teile im laufenden Prozess der Legoteilzählmaschine sehr variabel ist. Das optimalste Ergebnis haben die spitzen Luftdruck-Düsen erzielt, da selbst mit geringen Drücken viel Kraft auf die Legoteile übertragen werden konnte.

Platz	Düsen-Nr	Düsenart	Material	min. Druck	Preis
1	1761	Spitz	Aluminium	>2,5 Bar	11,40€
2	1873	Spitz	Edelstahl	>2,5 Bar	21,70€
3	2075	Spitz	Kunststoff (ABS)	>2,5 Bar	18,80€
4	R02-100	Spitz	Edelstahl	3,5 Bar	10,60€
5	1761	Spitz	Edelstahl	3,5 Bar	40,90€

^[2]

Elektronik/Arduino-Kommunikation

Arduino-Kommunikation

Zum Ansteuern der Aktoren mithilfe des Arduino Mega, wurde ein Kommunikationsprogramm geschrieben. Dieses ermöglicht dem Nutzer über den PC einen seriellen Befehl an den Arduino zu schicken, der daraufhin den Befehl ausführt. Zu den Befehlen gehören:

Ansteuern der LED's in den Kameraboxen für die Erkennung bzw. Separierung
Ventilsteuerung für die Druckluftdüsen für die Erkennung bzw. Separierung
Einstellung der Drosselklappenstellung für die Sortierung
Ansteuern der Förderbandmotoren
Ansteuern des Linearläufers für die Sortierung

Für die Botschaften wurde ein einheitliches Framework herausgearbeitet. So besitzt jede serielle Botschaft folgende kodierte Inhalte:

Am Anfang jeder Botschaft steht ein B
Eine 1-stellige ID, welche die oben aufgeführten Aufgaben repräsentiert
Eine 2-stellige Nummer (NR), welche einen bestimmten Aktor beinhaltet
Eine 3-stellige Zusatzzahl, welche z.B. den Motoren eine relative Geschwindigkeit vorgibt, den LEDs bzw. Ventilen an/auf und aus/zu vorgibt oder die Sollposition für den Linearläufer bzw. Drosselklappe beinhaltet
Die Botschaft wird mit einem E beendet

Eine detalierte Beschreibung der Kommunikation findet sich in folgender Tabelle:

Beschreibung	ID	NR	ZUSATZ	Gesamtstring	Beispielstring (ohne Leerzeichen)
Drosselklappe	D	00 (nur eine Drosselklappe vorhanden)	Z: Stellung (0 oder 1)	B ID NR Z E	B D 00 001 E (Drosselklappe in Stellung 1)
LED's	L	00: Erkennung oben 1: Erkennung unten 2: Sortierung	Z: Status (0=aus; 1 = an)	B ID NR Z E	B L 01 001 E (Erkennung unten an)
Förderbandmotoren	M	00: Bunker 01: Förderband	Z: Power in %	B ID NR Z E	B M 01 080 E (Förderband mit 80%)
Schrittmotor Sortierung (Linearläufer)	S	00 - 08: Position	Z: 0 (kein Zusatz)	B ID NR Z E	B S 08 000 E (Linearläufer auf Position 8)
Ventile	V	00: Erkennung pusten 01: nicht belegt 02: Vereinzelung pusten (1) 03: Vereinzelung pusten (2)	Z: Status (0=aus; 1 = an)	B ID NR Z E	B V 00 001 E (Erkennung pusten)

Das Programm auf dem Arduino beobachtet dauerhaft den seriellen Eingang und reagiert bei einem Eintreffen einer Botschaft mit einem jeweiligen Ansteuern der digitalen Ausgänge. Das Programm befindet sich im folgenden Ordner: Serielle_Kommunikation_Arduino_Matlab

Autor/Verantwortlicher: ^[5]

HSHL-Wiki-Dokumentation

Die HSHL-Wiki-Dokumentation wurde von der gesamten Gruppe bearbeitet. Jedes Themenabschnitt unterliegt der bereits oben genannten Verantwortlichkeiten. ^[1]

Ergebnisse

Anleitung Programmstart

^[6] ^[3]

Fazit

Abgeschlossene Punkte

Allgemein
- Evaluierung der Druckluftdüsen
- CAD-Modell des „Klemmbocks“ zu Befestigung der Düsen
Sortierung
- Prozessablaufplan der Sortierung
- Montage Konzept der Sortierung
- Ansteuerung des Linear-Läufers
- Verdrahtung des Linearläufers
- Test der Funktionalität des Linearläufers
- Einbindung der Sensoren des Linearläufers
- Montage der einzelnen Kästen

Notwendige offene Punkte

Vereinzelung
- Bildverarbeitung zum Erkennen von Bauteilhaufen
- Ersetzen des improvisierten Papp-Schildes für die Luftdruckdüsen
Montage und Einbindung der „Auswerfer-Klappe“ vor dem Linearläufer
Optimierung der Pneumatik
Optimierung der Latenzzeiten

Kritikpunkte

Es werden nicht die optimalen Luftdruckdüsen eingesetzt
Ein zweite Bildverarbeitung zum Erkenn von Bauteilhaufen erfordert viel Rechenleistung
Die Startposition des Linearläufers ist kann stark variieren und den den kompletten Prozess anhalten.
Beim Überschreiten der Notfall Schalter des Linearläufers kann das System nicht eigenständig reagieren. Daher muss der Läufer manuell auch dieser Lage befreit werden.
Es gibt noch keine Sicherheitsvorkehrungen, die im Fehlerfall den Prozess oder Teilprozesse stoppen.
Wenn ein Sortierkasten überfüllt ist, können einzelne Teile aus dem Kasten fallen. Die Kapazität der Sortierkästen könnte angepasst werden.

Noch nicht umgesetzte Ideen

Sortierung
- Einbau von zusätzlichen Sensoren für das Start/Kalibrierungsproblem des Linearläufers
- Verbinden der Sensoren des Linearläufers mit dem Arduino um automatisch bei Fehlerfällen eingreifen zu können.
- Ein Rohr mit geringerem Durchmesser würde den Trichter vor dem Linearläufer sparen.

Referenzen

^[1] ^[3] ^[2] ^[6] ^[4] ^[5]

Dokumentation

UNTER BERARBEITUNG