© Fraunhofer IPK
Benutzeroberfläche der App.
In der Bildverarbeitung werden Methoden der KI seit langem erfolgreich eingesetzt. Neuronale Netze erkennen Objekte des alltäglichen Lebens mit einer höheren Genauigkeit wieder als der Mensch. Forscherteams des Fraunhofer-Instituts für Produktionsanlagen und Konstruktionstechnik IPK nutzen diese Fähigkeiten und passen die Algorithmen für Industrieanwendungen an: Per App lassen sich beispielsweise einzelne Bauteile ohne Barcode innerhalb von Sekunden eindeutig identifizieren. Insbesondere Logistikunternehmen profitieren von dem Potenzial der Neuronalen Netze und können Prozesse beim Wareneingang beschleunigen.
Unternehmen produzieren zunehmend an verschiedenen Standorten und arbeiten mit mehreren Zulieferfirmen zusammen. Sie können nicht davon ausgehen, dass alle gelieferten Bauteile mit Barcodes oder Typenschildern ausgestattet sind. Am Wareneingang ist daher oftmals eine erneute Zuordnung der betreffenden Gegenstände notwendig. Mitarbeitende sind dann gezwungen, manuell im Katalog nach ähnlichen Einzelteilen zu suchen, um diese für die logistische Weiterverarbeitung eindeutig identifizieren zu können – ein zeitaufwändiger, mühsamer Prozess. Hilfreich wäre eine automatisierte, digitalisierte Wiedererkennung, die den Erfassungsprozess beschleunigen würde. Dieser Aufgabe widmen sich Forscherinnen und Forscher am Fraunhofer IPK in Berlin. Dabei bedienen sie sich der Methoden des maschinellen Lernens. Sie nutzen sogenannte Convolutional Neural Networks (CNNs) für die Wiedererkennung von Bauteilen aus dem Produktionsumfeld. Dazu gehören etwa Schrauben, Klemmen, Stutzen, Rohre, Schläuche, Kabel, Microcontroller und andere Elektronik.
Trainingsdaten für Industrieprozesse erzeugen
»In der Bildverarbeitung haben sich CNNs durchgesetzt. Um verlässlich etwa 1000 Objekte des alltäglichen Lebens zu erkennen, sind eine Million Bilder erforderlich, die diese Netze als Trainingsdaten nutzen. Unsere Aufgabe war es, auch mit wenig Daten einen Algorithmus für Industrieanwendungen zu generieren, um in unserem Fall Bauteile ohne Code automatisiert wiederzuerkennen und den Werker am Wareneingang zu entlasten. Ziel ist es, dass der Algorithmus problemlos auch stark ähnliche Objekte voneinander unterscheiden kann, wie etwa Schrauben der gleichen Norm, aber unterschiedlicher Größen, oder Turbolader unterschiedlicher Baureihen«, sagt Jan Lehr, Wissenschaftler am Fraunhofer IPK. »Mithilfe von eigens entwickelten Algorithmen schränken wir den Suchradius auf fünf bis zehn Objekte ein. Der Mitarbeiter muss nicht mehr in der kompletten Palette suchen, die ein Großlager umfasst.«
Um dies zu realisieren, entwickelten Lehr und seine Kollegen mit dem Logic.Cube in einem vom Bundesministerium für Wirtschaft und Energie BMWi geförderten Projekt ein Erfassungssystem. Die zu erkennenden Objekte mit einer maximalen Kantenlänge von 40 Zentimetern werden in die würfelförmige Vorrichtung mit integrierter Waage gelegt und dort mit bis zu neun Kameras aufgenommen. Ein Bildverarbeitungsalgorithmus vermisst Höhe, Breite und Länge der Gegenstände, um die Größe des erforderlichen Kartons oder des Regallagerplatzes berechnen zu können. Zeitgleich wird das fotografierte Bilderset zusammen mit der Materialnummer in einer Datenbank gespeichert. Die so generierten Bilddaten werden genutzt, um den KI-Algorithmus zu trainieren, sodass er in der Lage ist, die unterschiedlichsten Bauteile wiederzuerkennen.
Hohe Wiedererkennungsraten mit wenigen Bildern
Da nicht jedes Unternehmen die Anschaffung des Logic.Cube in Erwägung zieht, hat das Forscherteam am Fraunhofer IPK die Funktionalität des Erfassungssystems in eine browserbasierte, betriebssystemunabhängige App übertragen, die auf Smartphones, Tablets, Laptops und Desktop-Rechnern läuft. Dabei musste der Trainingsdatensatz mit Smartphone-Daten angereichert und neu trainiert werden. »Wir haben die Algorithmen mit hundert Bauteilen getestet, die in unterschiedlichsten Szenen fotografiert wurden. Pro Bauteil wurden 50 Bilder aufgenommen. Die App zeigt dem Anwender innerhalb von wenigen Sekunden fünf und weniger infrage kommende Bauteile an, unabhängig vom Licht, vom Hintergrund und von der Szenerie. Die Erkennung ist so robust, dass sie die manuelle Suche ersetzen kann«, sagt der Ingenieur. »Die Zeitersparnis für den Werker ist enorm. Es ist uns gelungen, mit möglichst wenig Bildern hohe Wiedererkennungsraten zu erzielen.« Im Logic.Cube konnten die Forschenden Erkennungsraten von 98 Prozent erzielen, der Suchradius wurde von 4500 Bildern auf fünf eingeschränkt. Eine ebensolche Erfolgsquote soll künftig mit der App erzielt werden.
© Fraunhofer IPK
Wiedererkennungsrate für verschiedene Szenen.
Die Bilder werden übers Internet oder das firmeneigene Intranet in einer lokalen Edge-Cloud abgelegt. Dort findet auch die eigentliche Bildverarbeitung und Wiedererkennung statt. »Die KI-Algorithmen laufen auf dem Server. Die App, die auf dem Smartphone oder Tablet läuft, ist der Client«, erklärt Lehr. Das Gesamtsystem ist so gestaltet, dass es bei der Benutzung fortlaufend weitere Daten sammelt, die nach einer bestimmten Zeit für ein erneutes Anlernen der Algorithmen verwendet werden können. So verbessert sich das System kontinuierlich selbst.
Derzeit arbeiten die Forschenden daran, das Set an Bilddaten zu erweitern, den Katalog zu digitalisieren und in die App zu integrieren. Alle nachfolgenden Prozesse, wie die Weiterbearbeitung und eventuelle Nachbestellung, sollen künftig über die Edge-Cloud angestoßen werden. Zudem optimieren Lehr und seine Kollegen die Algorithmen, um auch stark ähnlich aussehende Objekte wiedererkennen zu können. In den erfolgten Testläufen war das System in der Lage, sogar Schrauben der gleichen Norm, aber unterschiedlicher Größe korrekt wiederzuerkennen.
Anwendungsszenario Oberflächeninspektion
Die App lässt sich darüber hinaus für die Oberflächeninspektion verwenden. Direkt am Wareneingang wird die Oberfläche von angelieferten Bauteilen mit KI-gestützter Bildverarbeitung geprüft: Sind Kratzer oder Korrosionen vorhanden, gab es Transportschäden oder ist das Teil nur verschmutzt? Mittels KI-Methoden werden die betreffenden Stellen auf dem Bild markiert, sodass Werker Schadstellen umgehend überprüfen können. »Produktionsunternehmen sind in Bezug auf KI oftmals noch zurückhaltend. Es würde uns freuen, wenn wir mit unseren Forschungsarbeiten dazu beitragen könnten, dieser Skepsis entgegen zu wirken und die Akzeptanz bei den Mitarbeitenden zu steigern«, so Lehr.
Weitere Informationen: www.ipk.fraunhofer.de
