Quelltext der Seite Bildverarbeitungssystem zur Ermittlung der optimalen Greifreihenfolge von Rohren aus einem verzopften Bund


'''Autor:''' [[Benutzer:Simon_Kohfeld|Simon Kohfeld]] <br />
''Betreuer:'' [[Benutzer: Ulrich_Schneider| Prof. Schneider]]

[[Datei:AzureKinect.tiff|thumb|300px|right|Abbildung 1: Die Azure Kinect <ref name="Microsoft"> Azure Kinect DK. - letzter Aufruf: 21.10.2019 https://img-prod-cms-rt-microsoft-com.akamaized.net/cms/api/am/imageFileData/RWqOsq?ver=2e37 </ref>]]
<br /><br /><br /><br /><br />
== Einleitung ==
Das Thema Bildverarbeitung gewinnt in den letzten 30 Jahren stetig an Bedeutung. Nicht nur im Automobil, beispielsweise für Spurhalteassistenzsysteme oder im Bereich der Consumer-Elektronik, wie die Gesichtserkennung via PC oder Smartphone, sondern auch in der Industrie finden Bildverarbeitungssysteme immer mehr Anwendung. In der Industrie gibt es bereits einige verschiedene Kamerasysteme und auch algorithmische Lösungen zur Qualitätskontrolle oder zur Bauteilerkennung für eine Robotersteuerung. Ein Beispiel für die Verwendung von Kameras für die Steuerung von Robotern ist das so genannte „Bin Picking“. Ein Kamerasystem analysiert einen Behälter mit Bauteilen und ermittelt das zu greifende Teil für den Roboter. Allgemein gilt: je spezifischer die Anforderungen an das Bildverarbeitungssystem sind, desto weniger Systeme sind als Lösung für das jeweilige Problem am Markt erhältlich.<br /><br />
Gerade bei sehr großen Bildausschnitten oder schlechten Kontrasten im Bild sind nur wenige Fertiglösungen am Markt verfügbar. Um ein solches spezifisches Problem zu lösen, wird die nachfolgende Masterarbeit mit dem Thema „Bildverarbeitungssystem zur Ermittlung der optimalen Greifreihenfolge von Rohren aus einem verzopften Bund“ angefertigt. Die Möglichkeiten aktuell auf dem Markt erhältlicher Kamerasysteme werden recherchiert und verschiedene Algorithmen werden für die Problemlösung vorgestellt und getestet. Diese Arbeit wird in Zusammenarbeit mit der Firma BENTELER Steel/Tube durchgeführt. Es soll eine Lösung für das Vereinzeln verzopfter Rohre erarbeitet werden, um die Automatisierung des Stahlrohrwerks in Schloss Neuhaus voranzutreiben.

== Vorstellung der [https://www.benteler-steeltube.com/de/ BENTELER Steel/Tube GmbH]==
===Allgemein===
*Eine von drei Divisionen der BENTELER-Gruppe
*Produktion von Stahlrohren
*3800 Mitarbeiter
*weltweit sieben Werke
*Verfassung dieser Arbeit am Standort Schloss Neuhaus
===Werk Schloss Neuhaus===
*Im Jahr 1919 gegründet
*1150 Mitarbeiter
*Fertigung von nahtlosen Präzisionsrohren
<br />

==Aufgaben der Masterarbeit==
'''Machbarkeitsstudie zur kamerabasierten Rohrerkennung und Kantenfindung zur optimalen und automatischen Vereinzelung von Rohren in verzopften Bunden mittels Roboter'''

1. Recherche und Beschaffung eines geeigneten Kamerasystems

2. Erstellung eines Programms zur Rohrerkennung mittels Kamerasystem

3. Ermittlung des optimal zu greifenden Rohrs

4. Ausgabe der optimalen Greifposition

==Durchführung der Arbeit==
[[Datei:Kinect montiert.tiff|thumb|200px|right|Abbildung 2: an Anlage montierte Azure Kinect]]
Die Umsetzung der Bildverarbeitung erfolgt zunächst mit einer Kinect for Windows V2 als Leihkamera und anschließend mit dem beschafften Nachfolgemodell, der Azure Kinect. Die Verwendung von Filtern wird nach verschiedenen Tests verworfen. Für die Segmentierung werden zunächst die Rohre mit den Eigenwerten der Hesse-Matrix bestimmt und anschließend werden die Rohre aus der Gesamtpunktwolke extrahiert und im nächsten Schritt, unter Berücksichtigung der Distanzwerte wird eine Greifposition ermittelt. 

Um die Zuverlässigkeit des Algorithmus zu verbessern, werden die Rohre mit Hilfe des RANSAC-Algorithmus als Linien modelliert. Anschließend werden Schnittpunkte der Linien bzw. Rohre berechnet und bei der Ermittlung der Greifposition mitberücksichtigt. 

Nach Fertigstellung des Algorithmus, werden die Schnittstellen zwischen Bildverarbeitungssystem, Roboter und SPS festgelegt. Das Bildverarbeitungssystem soll die ermittelten Positionsdaten, sowie notwendige Bits zur Steuerung der Förderkette der Rohre, über OPC UA an die SPS übermitteln. Der Roboter wartet mit der Ausführung der Greifaktion auf die Positionsdaten und ein Freigabesignal der SPS.
<br /><br /><br /><br /><br /><br /><br /><br />

==Ergebnis==
[[Datei:Ergebnisrohr_markiert.tiff|thumb|500px|right|Abbildung 3: optimales markiertes Rohr]]
Als optimal geeignet wird eine Anlage ausgewählt, die einen minimalen Rohrdurchmesser von 19,5 mm aufweist, 25 Sekunden Zeit für die Bildverarbeitung lässt und an der die Montage der Kameras einfach möglich ist. Der einzige negative Aspekt ist die benötigte Anzahl an Kameras aufgrund der Rohrlänge von bis zu 20 m. Nach Gegenüberstellung von Technologie, Preis und Handhabbarkeit von verschiedenen 3D-Kameras, fällt die Entscheidung auf die ToF-Technologie in Form der Azure Kinect von Microsoft. Der Rechenbedarf wird ermittelt und eine Marktrecherche wird durchgeführt.

Die Bildverarbeitung zur Erkennung des optimal greifbaren Rohres wird mit Hilfe der Eigenwertberechnung der Hesse-Matrix und der anschließenden Modellbildung mit dem RANSAC-Algorithmus gelöst. Als Entwicklungssoftware wird MATLAB® verwendet, da auf Vorkenntnisse aus dem Studium zurückgegriffen werden kann. Der Live-Test an der Anlage kann erfolgreich einen Nachweis über die korrekte Funktionsweise bei 85 % der Testfälle erbringen. Durch aufgezeichnete Bilder können Optimierungen vorgenommen werden, wodurch die Zuverlässigkeit auf über 90 % gesteigert werden kann. 

Die grundsätzliche Funktionsweise des Systems kann somit insgesamt nachgewiesen werden. Eine vollständig prozesssichere Lösung kann aber voraussichtlich nur mit einem erheblichen Mehraufwand erreicht werden, da weitere Schritte erforderlich sind, wie das Zusammenfügen der Kamerabilder bei mehreren Kameras, die Entwicklung einer Haltekonstruktion, die es ermöglicht die Kameras sehr genau gegeneinander auszurichten und auch der Algorithmus muss sowohl durch die wesentlich höhere Menge an Bilddaten, als auch hinsichtlich einer besseren Erfolgsquote optimiert werden. Zusätzlich muss dann der Roboter geplant, beschafft und anschließend programmiert werden. Eine Entwicklung des Gesamtsystems in Eigenregie, innerhalb der Firma Benteler Steel/Tube ist somit als riskant einzustufen, da vor allem die Erfahrungen im Bereich Bildverarbeitung eher gering sind.


==Ausblick==
Damit die Ergebnisse dieser Arbeit für eine tatsächliche Umsetzung an der Anlage verwendet werden können müssen noch einige Aspekte berücksichtigt werden. Diese werden nachfolgend beschrieben. 
Zunächst konnte im Rahmen dieser Arbeit nicht vollständig geklärt werden, wie die Laufzeit des Algorithmus in Verbindung mit der Größe des Bildes ansteigt. Unter anderem davon hängt ab, wie viele Kameras sinnvollerweise für die Umsetzung des Systems verwendet werden können, bzw. welche entsprechende Hardwareleistung für den anforderungsgerechten Betrieb der Anlage notwendig ist. Außerdem müssen die Einzelbilder der Kameras zu einem großen zusammengefügt werden, was in dem für diese Arbeit erstellten Programm nicht implementiert ist. Des Weiteren ist das Gesamtfehlerpotential für die Anlage nicht vollständig untersucht worden, sondern nur der Regelbetrieb der Anlage. Somit ist nicht auszuschließen, dass Beleuchtungsszenarien auftreten können, die das System negativ beeinflussen. Auch wenn besonders dunkle Rohre aufgelegt werden, kann eine gleichbleibende Funktionalität des Systems aktuell nicht garantiert werden. Um diesem entgegenzuwirken müssen unterschiedliche Parametersätze für die Bildverarbeitung getestet und entsprechend für die unterschiedlichen Szenarien angewählt werden können. Für den Betrieb an der Anlage fehlen weiterhin die Auslegung, Beschaffung und Programmierung eines geeigneten Roboters. Damit die Temperaturanforderungen der Azure Kinect garantiert werden können, muss außerdem über ein klimatisiertes Gehäuse nachgedacht werden.

Da aufgrund des Vorwissens und der Einfachheit der Prototypentwicklung MATLAB® als Projektierungssoftware verwendet wurde, ist zu überlegen die gewonnenen Erkenntnisse zu nutzen, um die Bilderkennung mithilfe von OpenCV umzusetzen. Durch die Verwendung der Open Source Software können ggf. Kosten eingespart und die Programmlaufzeit verringert werden. Grundsätzlich wäre auch eine C-Code-Generierung mit Hilfe der entsprechenden MATLAB®-Toolbox denkbar. Durch einen Test dieser Toolbox stellt sich heraus, dass der MATLAB®-Coder unter anderem die Befehle fibermetric und ransac nicht unterstützt. Da diese beiden Befehle für das in dieser Arbeit erstellte Programm elementar sind, ist dieser Ansatz somit nicht in einem sinnvollen Umfang umsetzbar.
Ein anderer Ansatz zur Lösung des beschriebenen Bildverarbeitungsproblems kann unter Umständen die Verwendung von Machine Learning sein, wobei die Ergebnisbilder des im Rahmen dieser Arbeit erstellten Programms für den Teaching-Prozess verwendet werden können. Ein Machine Learning Ansatz kann gegebenenfalls die Rechenzeit verkürzen und die Zuverlässigkeit der Erkennung erhöhen.
Die in dieser Arbeit durchgeführte Rohrerkennung kann unter Betrachtung anderer Merkmale gegebenenfalls für andere Anwendungsfälle im Werk Schloss Neuhaus verwendet werden. Naheliegend ist die Verwendung des nahezu identischen Programms für die verschiedenen Anlagen im Werk, an denen ebenfalls Rohre von Hand eingelegt werden, um die die Automatisierung voranzutreiben. Denkbar ist die Rohrerkennung beispielsweise auch für ein alternatives Rohrtracking im Warmbetrieb. Ebenfalls denkbar sind unterschiedliche Qualitäts- und Prozesskontrollen, die auf den aktuellen Ergebnissen aufgebaut werden können. Durch das gestärkte Bewusstsein für die Möglichkeiten von Bildverarbeitung bei der Firma BENTELER Steel/Tube, das aus dieser Arbeit resultiert, wird über Bildverarbeitungslösungen für andere Aufgabenstellungen nachgedacht. 

Durch die stetig wachsende Auflösung von sowohl 2D- als auch 3D-Kameras werden auch die Möglichkeiten von Bildverarbeitung weiter ansteigen. So können voraussichtlich auch die Anlagen, die zu Beginn dieser Arbeit aufgrund des sehr geringen Rohrdurchmessers als ungeeignet deklariert wurden, in den nächsten Jahren ebenfalls mit einer entsprechenden Bilderkennung ausgestattet werden. Höhere Auflösungen erfordern dementsprechend höhere Hardwareleistung, um die sich ergebenden Zeitanforderungen erfüllen zu können. Aber auch die Rechenleistung erhöht sich kontinuierlich durch schnellere Prozessoren und optimierte Hardwarearchitekturen. Somit ergibt sich die Ausweitungsmöglichkeit der Verwendung des entwickelten Bildverarbeitungssystems aus dem zukünftigen Wachstum von 3D-Kamera-Auflösung und Hardwareleistung. 

<br/>

----
→ zurück zum Hauptartikel: [[Studentische_Arbeiten| Studentische Arbeiten]]