Ziel der Entwicklung

Der für das Projekt „RePEye“ benutzte Ansatz ist ein Stichprobenverfahren mit datenmodellbasierter Auswertung. Als Ausgangspunkt für die Bewertung einer realen Altpapierladung dient dabei die Standardzusammensetzung einer Musterladung einer bestimmten Altpapiersorte gemäß Sortendefinition. Ein datenbasiertes Mengenmodell bezieht Kontextinformationen wie z.B. Lieferant, Region, Jahreszeit, Marktlage und historischen Erfahrungsdaten zur Berechnung der Abweichung vom diesem Standard ein. Die nächste Informationsquelle zur Bestimmung der Zusammensetzung ist die maschinelle visuelle Inspektion. Aus der kompletten Seitenansicht und Detailansichten der LKW-Ladung werden modellbasiert die Abweichung vom Standard kalkuliert. Zum Einsatz kamen Methoden der visuellen Erkennung von Objekten und der visuellen Bewertung von Strukturen und Mustern. Ein benutzerdefiniertes Erkennungsmodell stellt die Zusammenhänge zwischen Abbild der Realladung, datenbasiertem Mengenmodell und Bewertungsergebnis dar.
Die Erkennungsergebnisse liegen der Kalkulation der angenommenen Zusammensetzung zugrunde. Ein auf diesen Methoden basierender Bewertungsalgorithmus schafft die Verbindung zwischen visueller Abbildung einer Altpapiermenge und der mengenmäßigen Zusammensetzung, klassiert nach Altpapierobjektklassen. Grundlegende Techniken waren bekannt und verfügbar. Der innovative wissenschaftliche Schwerpunkt des Projektes lag in der Entwicklung eines anwendungsspezifischen, benutzerdefinierten Erkennungsmodells. Für die Entwicklung des Verfahrens sind umfangreiche Daten (Bilder und Kontextinformationen) notwendig. Die Erhebung der Daten erfolgte und erfolgt weiterhin in drei Papierfabriken mit unterschiedlichem Lieferportfolio (Verpackungspapiere, grafische Papiere, Hygienepapiere) erfolgen. Somit kann eine breite Abdeckung von Altpapiersorten erreicht werden. Die Erhebung erfolge über einen langen Zeitraum, um die notwendige Quantität und Qualität der Daten zu erhalten. Dazu kam Standardkameratechnik für den Außenbereich zum Einsatz. Die Schnittstellen zwischen Kamera, Betreiber und PTS wurde datenschutzkonform angepasst. In diesem Bereich können die Anwendungen laufen, welche über eine permanente externe Datenverbindung verfügen, ohne dass dadurch eine Gefahr für den Rest des internen Netzwerkes entsteht. Als Nutzeroberfläche wurde eine Webanwendung konzipiert und umgesetzt, die die genannten Anforderungen umsetzt und für den Nutzer übersichtlich und automatisiert darstellt. Aus den vorliegenden Bildern wurden für die Klassifizierung relevante Informationen den visuellen Merkmalen zugeordnet, gekennzeichnet und für die Maschinenlesbarkeit aufbereitet. Diese erfolgt sowohl für Einzelobjekte als auch für Gruppen von Objekten (Ballen, Ladung). Es erfolgte weiterhin eine Zusammenstellung der Lerndatensätze aus Bilddaten, erkannten visuellen Merkmalen, Kontextinformationen und Aussage zu Objektklassen. Es wurden Tools erstellt, die die Verbindung von Bilddaten und Kontextinformationen auf einer maschinenlesbaren Ebene ermöglichen. Diese sind Python kompatibel, so dass einer späteren automatisierten Erweiterung dieser Datenstruktur keine Limitierungen entgegenstehen. Die Softwaretools wurden in einer Weise verbessert, dass selbst bei der großen Bilddatenmenge eine zügige Merkmalszuweisung und ein gutes Fehlermanagement möglich sind.
Anhand der Ergebnisse der manuellen Bewertung von Bildaufnahmen, welche auch dem Bewertungsalgorithmus als Input gegeben wurden, der Ergebnisse aus der manuellen Bewertung der Realansicht der Ladung und der Ballen durch betriebliche Experten und Projektbearbeiter sowie aus Betriebsversuchen zur detaillierten Untersuchung von Ballen (Öffnung, Auszählung, Analyse mit Referenzmethoden) wurde die KI angelernt.
Insbesondere Funktionen zur Datenvorbereitung (Erstellung und Laden des Datensatzes, Aufteilen der Daten in Trainings-, Test und Validierungsdatensatzes, Bildvorverarbeitung, etc.) wurden implementiert und getestet. Der grundlegende Aufbau der Modelle wurde umgesetzt und initial mit Daten aus dem Forschungsprojektes angelernt. Damit wurde die Grundlage zum weiteren iterativen Aufbau und Optimierung der Modelle geschaffen. Die Methode „Transfer Learning“ kam bei der Erstellung der Modelle zum Einsatz.
Nach dem Training wurden unter Verwendung von Informationen der Standard-Qualitätskontrollen nachfolgender Prozessschritte und Ursachenforschung bei Prozessabweichungen Rückschlüsse zur Erkennungs- und Bewertungsqualität der Modelle gezogen. Die Modelle wurden mittels des Tools „Tensorboard“ ausgewertet.
Die Möglichkeit einer eineindeutigen Zuordnung dieser Informationen zu den Datensätzen der visuellen Inspektion wurde in den meisten Fällen erreicht.
Es konnte gezeigt werden, dass die Ergebnisse der internen und externen Validierung denen der in den vorigen Arbeitspakten erstellten Modelle entsprechen. Die gilt sowohl für die Sorten-Klassifikationen als auch für die quantitativen Ergebnisse.

Vorteile und Lösungen

Der für das Projekt „RePEye“ benutzte Ansatz ist ein Stichprobenverfahren mit datenmodellbasierter Auswertung. Als Ausgangspunkt für die Bewertung einer realen Altpapierladung dient dabei die Standardzusammensetzung einer Musterladung einer bestimmten Altpapiersorte gemäß Sortendefinition. Ein datenbasiertes Mengenmodell bezieht Kontextinformationen wie z.B. Lieferant, Region, Jahreszeit, Marktlage und historischen Erfahrungsdaten zur Berechnung der Abweichung vom diesem Standard ein. Die nächste Informationsquelle zur Bestimmung der Zusammensetzung ist die maschinelle visuelle Inspektion. Aus der kompletten Seitenansicht und Detailansichten der LKW-Ladung werden modellbasiert die Abweichung vom Standard kalkuliert. Zum Einsatz kamen Methoden der visuellen Erkennung von Objekten und der visuellen Bewertung von Strukturen und Mustern. Ein benutzerdefiniertes Erkennungsmodell stellt die Zusammenhänge zwischen Abbild der Realladung, datenbasiertem Mengenmodell und Bewertungsergebnis dar.
Die Erkennungsergebnisse liegen der Kalkulation der angenommenen Zusammensetzung zugrunde. Ein auf diesen Methoden basierender Bewertungsalgorithmus schafft die Verbindung zwischen visueller Abbildung einer Altpapiermenge und der mengenmäßigen Zusammensetzung, klassiert nach Altpapierobjektklassen. Grundlegende Techniken waren bekannt und verfügbar. Der innovative wissenschaftliche Schwerpunkt des Projekts lag in der Entwicklung eines anwendungsspezifischen, benutzerdefinierten Erkennungsmodells. Für die Entwicklung des Verfahrens sind umfangreiche Daten (Bilder und Kontextinformationen) notwendig. Die Erhebung der Daten erfolgte und erfolgt weiterhin in drei Papierfabriken mit unterschiedlichem Lieferportfolio (Verpackungspapiere, grafische Papiere, Hygienepapiere) erfolgen. Somit kann eine breite Abdeckung von Altpapiersorten erreicht werden. Die Erhebung erfolge über einen langen Zeitraum, um die notwendige Quantität und Qualität der Daten zu erhalten. Dazu kam Standardkameratechnik für den Außenbereich zum Einsatz. Die Schnittstellen zwischen Kamera, Betreiber und PTS wurde datenschutzkonform angepasst. In diesem Bereich können die Anwendungen laufen, welche über eine permanente externe Datenverbindung verfügen, ohne dass dadurch eine Gefahr für den Rest des internen Netzwerkes entsteht. Als Nutzeroberfläche wurde eine Webanwendung konzipiert und umgesetzt, die die genannten Anforderungen umsetzt und für den Nutzer übersichtlich und automatisiert darstellt. Aus den vorliegenden Bildern wurden für die Klassifizierung relevante Informationen den visuellen Merkmalen zugeordnet, gekennzeichnet und für die Maschinenlesbarkeit aufbereitet. Diese erfolgt sowohl für Einzelobjekte als auch für Gruppen von Objekten (Ballen, Ladung). Es erfolgte weiterhin eine Zusammenstellung der Lerndatensätze aus Bilddaten, erkannten visuellen Merkmalen, Kontextinformationen und Aussage zu Objektklassen. Es wurden Tools erstellt, die die Verbindung von Bilddaten und Kontextinformationen auf einer maschinenlesbaren Ebene ermöglichen. Diese sind Python kompatibel, so dass einer späteren automatisierten Erweiterung dieser Datenstruktur keine Limitierungen entgegenstehen. Die Softwaretools wurden in einer Weise verbessert, dass selbst bei der großen Bilddatenmenge eine zügige Merkmalszuweisung und ein gutes Fehlermanagement möglich sind.
Anhand der Ergebnisse der manuellen Bewertung von Bildaufnahmen, welche auch dem Bewertungsalgorithmus als Input gegeben wurden, der Ergebnisse aus der manuellen Bewertung der Realansicht der Ladung und der Ballen durch betriebliche Experten und Projektbearbeiter sowie aus Betriebsversuchen zur detaillierten Untersuchung von Ballen (Öffnung, Auszählung, Analyse mit Referenzmethoden) wurde die KI angelernt.
Insbesondere Funktionen zur Datenvorbereitung (Erstellung und Laden des Datensatzes, Aufteilen der Daten in Trainings-, Test und Validierungsdatensatzes, Bildvorverarbeitung, etc.) wurden implementiert und getestet. Der grundlegende Aufbau der Modelle wurde umgesetzt und initial mit Daten aus dem Forschungsprojektes angelernt. Damit wurde die Grundlage zum weiteren iterativen Aufbau und Optimierung der Modelle geschaffen. Die Methode „Transfer Learning“ kam bei der Erstellung der Modelle zum Einsatz.
Nach dem Training wurden unter Verwendung von Informationen der Standard-Qualitätskontrollen nachfolgender Prozessschritte und Ursachenforschung bei Prozessabweichungen Rückschlüsse zur Erkennungs- und Bewertungsqualität der Modelle gezogen. Die Modelle wurden mittels des Tools „Tensorboard“ ausgewertet.
Die Möglichkeit einer eineindeutigen Zuordnung dieser Informationen zu den Datensätzen der visuellen Inspektion wurde in den meisten Fällen erreicht.
Es konnte gezeigt werden, dass die Ergebnisse der internen und externen Validierung denen der in den vorigen Arbeitspakten erstellten Modelle entsprechen. Die gilt sowohl für die Sorten-Klassifikationen als auch für die quantitativen Ergebnisse.

Zielgruppe und Zielmarkt

Der Markt der potenziellen Endkunden setzt sich aus den Altpapier verarbeitenden Papier- und Kartonfabriken weltweit zusammen. Seitens der Papier- und Kartonhersteller, aber auch seitens der Ausrüster und Automatisierer für die Branche besteht zunehmende Aufmerksamkeit und Interesse für die Bereitstellung der avisierten Daten als Basis weiterer Entwicklungen. Anbietern von visueller Überwachungstechnik fehlt das Knowhow für dieses spezielle Anwendungsgebiet. Die PTS hat mit ihrer Forschungs- und Beratungsexpertise eine hervorragende Stellung am Markt, da sie Messtechnikangebote wie den PaperBaleSensor, materialtechnisches und prozesstechnisches Knowhow verknüpft. Dies verschafft einen Wettbewerbsvorteil gegenüber anderen Messtechnikunternehmen.
Die Erreichung der Projekt schafft bei den industriellen Endanwendern:
– aussagekräftige, objektive Wareneingangskontrolle
– systematische Datenbasis zum Altpapier, durchgängige Verfügbarkeit der Daten
– Kostenreduzierung beim Rohstoff Altpapier

Mittelbar wird damit erreicht:
– Sicherheit in den Kunden-Lieferantenbeziehungen, Sicherung der Rohstoffbasis
– Einkaufsoptimierung
– Initiieren der Ausweitung von Datengenerierung und -nutzung in die vorgelagerten Bereiche, d.h. Recyclingwirtschaft und Altpapierhandel.
– sichere Ausgangssituation für die Optimierung von Logistik und Lagerwirtschaft
– prädiktive Steuerung der Aufbereitungsprozesse
– digitale Einbindung der Wareneingangskontrolle in die betrieblichen Abläufe (vertikale Integration)
– Summe Effektivitäts- und Effizienzsteigerung

Die Effizienzsteigerungen durch den Einsatz von Analytik, Messtechnik und intelligenter Nutzung verfügbarer Informationen im Bereich Faserausbeute, Verbrauch von Chemikalien und Energie wird insgesamt mit sieben Prozent prognostiziert.
Für Digitalwirtschaft und Messtechnik führt die Umsetzung der Vorhabenergebnisse zu neuen Produkten und Dienstleistungen. Mittelbar führen diese Lösungen zu einer breiteren Nutzung von digitalen Plattformen, was Geschäftsentwicklung und Ausprägung des digitalen Wandels bedeutet.
Die wirtschaftliche Verwertung des im Projekt entwickelten Verfahrens erfolgt durch Verkauf von Messsystemen inkl. Softwaredienstleistungen an Unternehmen der Altpapierverarbeitenden Industrie.
Die Vermarktung wird über verschiedene Weg verlaufen, welche bereits jetzt für die Produkte PBS und DOMAS sowie damit verbundene Engineering- und Consultingleistungen erfolgreich genutzt werden.
Der Direktvertrieb an Endkunden erfolgt durch Mitarbeiter der PTS im Umfeld von FuE-Partnerschaften und Beratungsauftragen sowie durch PTS-Vertriebsmitarbeiter. Die Marktaktivitäten werden durch die PTS-Vertriebsgesellschaft koordiniert und organisiert. Aufgrund des laufenden Geschäfts der PTS ist dieser Vertriebsweg etabliert. Vertriebsmitarbeiter und Berater werden das neue Verfahren in den Industriebetrieben fachkundig propagieren.
Ein weiterer Vertriebsweg als Unterauftragnehmer besteht über die Unternehmen Haarla Oy. (Finnland) und Valmet Saragossa (Spanien), mit denen geschäftliche Kooperationen im Bereich der Qualitätskontrolle für Altpapier bestehen. Diese Unternehmen bieten komplexere halbautomatische Lösungen zur Qualitätsinspektion an. Seitens großer Unternehmen wie VOITH, Siemens, Valmet (Finnland) wird Interesse zur Kooperation im Rahmen großer Investitionsprojekte signalisiert.
Das Interesse des Marktes in Bezug auf den Einsatz der Projektergebnisse in den Papierfabriken hat sich im Laufe des Projektes bestätigt. In zwei im Projekt beteiligten Papierfabriken werden auch nach Projektende weiter Bilddaten aufgenommen, um das Produkt weiterzuentwickeln. Weitere Papierfabriken haben Interesse bekundet. Eine Übertragung der Ergebnisse bzw. der Herangehensweise mittels Maschinellem Lernens an vergleichbare Produktgruppe und Güter ist vorgesehen und soll in den kommenden Jahren umgesetzt werden.
Aufwendungen im Rahmen von zukünftigen Forschungsvorhaben können reduziert werden. Darüber hinaus lassen sich durch gezielte Nutzung der in diesem Forschungsvorhaben generierten Ergebnisse Synergien für zukünftige Vorhaben nutzen.