Ende

Wissenschaftliche Berichte Band 12, Artikelnummer: 12559 (2022) Diesen Artikel zitieren

5850 Zugriffe

12 Zitate

14 Altmetrisch

Details zu den Metriken

Wir berichten über ein vollständiges Deep-Learning-Framework, das ein einstufiges Objekterkennungsmodell verwendet, um die Arten von Herstellungsfehlern auf Leiterplatten (PCBs) schnell und genau zu erkennen und zu klassifizieren. Wir beschreiben die komplette Modellarchitektur und vergleichen sie mit dem aktuellen Stand der Technik unter Verwendung desselben PCB-Defektdatensatzes. Zu diesen Benchmark-Methoden gehören das Faster Region Based Convolutional Neural Network (FRCNN) mit ResNet50, RetinaNet und You-Only-Look-Once (YOLO) zur Fehlererkennung und -identifizierung. Die Ergebnisse zeigen, dass unsere Methode bei den Testproben unter Verwendung von Bildern mit niedriger Auflösung eine mittlere durchschnittliche Präzision von 98,1 % (mAP[IoU = 0,5]) erreicht. Dies ist 3,2 % besser als der Stand der Technik bei Verwendung von Bildern mit niedriger Auflösung (YOLO V5m) und 1,4 % besser als der Stand der Technik bei Verwendung von Bildern mit hoher Auflösung (FRCNN-ResNet FPN). Während wir eine bessere Genauigkeit erreichen, benötigt unser Modell im Vergleich zum hochmodernen FRCNN-ResNet FPN (23,59 Mio.) und YOLO V5m (20,08 Mio.) auch etwa dreimal weniger Modellparameter (7,02 Mio.). Der größte Engpass in der PCB-Herstellungskette ist in den meisten Fällen die Qualitätskontrolle, Zuverlässigkeitsprüfung und manuelle Nachbearbeitung defekter PCBs. Basierend auf den ersten Ergebnissen sind wir fest davon überzeugt, dass die Implementierung dieses Modells in einer Leiterplattenfertigungslinie die Produktionsausbeute und den Durchsatz erheblich steigern und gleichzeitig die Herstellungskosten drastisch senken könnte.

Die Leiterplatten (PCBs) sind die Grundlage für die meisten elektronischen Produkte. Sie bestehen normalerweise aus Glasfaser und Verbundepoxidharz mit laminierten Materialien1. Jeder Herstellungsfehler auf Leiterplattenebene kann zu schwerwiegenden Mängeln auf Produktebene führen. Daher müssen Leiterplatten mit höchster Präzision hergestellt werden, um eine optimale Funktion und Produktzuverlässigkeit zu gewährleisten. Angesichts der weltweit wachsenden Nachfrage nach elektronischen Produkten ist es wichtig, Herstellungsfehler effizient und genau zu erkennen. Im Rahmen der Industrie 4.0-Revolution können neue daten- und maschinell lernende Technologien implementiert werden, um die Produkt- und Prozessqualität zu verbessern2. Das Zero-Defect-Manufacturing-Paradigma (ZDM) zielt auch darauf ab, die Nachhaltigkeit der Fertigung durch den Einsatz datengesteuerter Methoden zu verbessern, um sicherzustellen, dass keine fehlerhaften Produkte den Produktionsprozess durchlaufen3. Der Ansatz kombiniert Erkennung, Reparatur, Vorhersage und Prävention4. Während sich traditionelle Qualitätsverbesserungsmethoden (QI) auf die Erkennung und Reparatur konzentrieren, gehen Fertigungsindustrien nun zu einem Vorhersage-Präventions-Paradigma über, bei dem datengesteuerte Methoden zur Vorhersage von Herstellungsfehlern eingesetzt werden5. Die Leiterplattenindustrie investiert massiv, um eine große Belegschaft auszubilden und zu unterhalten, die sich der Qualitätsprüfung mit herkömmlichen Prüfwerkzeugen widmet6. Dieser Prozess führt häufig zu einer unerwünschten Latenz im Herstellungsprozess. Darüber hinaus ist die physische Inspektion von Teilen teuer und mühsam. Daher verlassen sich die meisten produzierenden Unternehmen auf die Chargenprüfung. Die Chargenprüfung ermöglicht es den Herstellern jedoch nicht, das ZDM-Prinzip der Null-Fehler am Ende des Herstellungsprozesses einzuhalten. Mit der wachsenden Bedeutung der Produktindividualisierung kommt es zu einem Anstieg der Fehlerraten aufgrund kleinerer Produktionslosgrößen7. In der Virtuellen Metrologie (VM), einem Teilgebiet des ZDM, helfen datengesteuerte Methoden dabei, die Qualität eines Produkts abzuschätzen und vorherzusagen8. Diese Methoden nutzen kostengünstige Qualitätsmetriken, um komplexere Metriken abzuleiten und so eine deutliche Verbesserung der Kosteneffizienz zu erreichen8. Neue, auf maschinellem Lernen basierende Computer-Vision-Techniken haben Forschern dabei geholfen, virtuelle Messtechnik auf die Qualitätsprüfung anzuwenden9

Verschiedene Arten von Defekten im Kupfermuster können die Leiterplatten beeinträchtigen. Dabei kann es sich um schwerwiegende Mängel handeln, die das Gerät sofort funktionsunfähig machen. Es kann sich auch um potenzielle Defekte handeln, die die Leistung des Geräts beeinträchtigen und seine Betriebslebensdauer verkürzen10. Während der Ätz- und Plattierprozesse können Anomalien zu überschüssigem oder fehlendem Kupfer führen. Außerdem kann ein unvollständiger Prozess zur unerwünschten Ablagerung leitfähiger Materialien und zur Bildung von Defekten wie Kurzschlüssen oder Abzweigungen führen. Andererseits kann eine übermäßige Bearbeitung zu fehlenden Löchern, offenen Schaltkreisen und Mausbissen führen. Auch fehlerhafte Werkzeuge können zu fehlenden Löchern führen. Ein falsches Timing kann zu mechanischen Fehlregistrierungen, Schmutzverunreinigungen oder Luftblasen aus der Elektrolyse in blanken Leiterplatten führen. Die Fachliteratur bietet eine ausführliche Zusammenfassung der häufigsten Fehler bei der Herstellung von Leiterplatten und ihrer Ursachen11.

Die Techniken zur PCB-Defekterkennung lassen sich grob in kontaktbehaftete und berührungslose Methoden unterteilen11. Kontaktmethoden basieren in der Regel auf fliegenden Sonden, um Defekte zu erkennen, die elektrische Kurzschlüsse und offene Schaltkreise verursachen. Ihre Implementierung und Wartung kann teuer sein. Sie unterliegen außerdem bestimmten Einschränkungen, die dazu führen können, dass fehlerhafte Produkte zugelassen werden10. Defekte wie fehlerhaftes Kupfer oder Grate, die zu einer langsameren Verschlechterung und einem Ausfall der Platine führen können, werden von elektrischen Kontaktmethoden oft übersehen10.

Die berührungslosen Inspektionsmethoden nutzen verschiedene Techniken wie Röntgenbildgebung, Scanned Beam Lithographie, Ultraschallbildgebung, Wärmebildgebung und automatische optische Inspektion (AOI)10. Da die Schaltkreise immer dichter und komplexer werden, wird auch die Erkennung von Herstellungsfehlern immer schwieriger und kostspieliger. Dies verhindert, dass der Herstellungsprozess den ZDM-Standards4 entspricht.

In dieser Arbeit versuchen wir, AOI-Systeme zur Fehlererkennung in unbestückten Leiterplatten mithilfe neuer Deep-Learning-Techniken zu verbessern. AOI-Systeme können Defekte auf unbestückten Platinen, fehlende Komponenten sowie Löt- und Polsterfehler erkennen. Sie können auch potenzielle Defekte wie Bohrer, falsches Kupfer und Mäusebisse erkennen, die durch Kontaktmethoden möglicherweise übersehen werden. Darüber hinaus vermeiden AOI-Systeme mechanische Schäden und können problemlos mit der Erhöhung der Produktionskapazität skaliert werden.

In diesem Artikel wird ein vollständiges Framework zur Verbesserung der PCB-Defekterkennung mithilfe von AOI-Tools vorgestellt. Die Hauptbeiträge dieses Papiers sind wie folgt:

Vorschlag eines verbesserten Objekterkennungsmodells zur PCB-Defekterkennung.

Vergleich seiner Leistung mit mehreren hochmodernen Objekterkennungsmodellen.

Erhöhung der Gesamtgenauigkeit (mAP[IoU = 0,5]) um 3,2 %, was einer Verbesserung von bis zu 5,6 % für die Spur-Defekt-Klasse entspricht.

Und das alles unter Verwendung von nur 7 Millionen (7M) (35 %) der mehr als 20 Millionen Parameter, die von den aktuellen hochmodernen Methoden verwendet werden (YOLO V5m für Bilder mit niedriger Auflösung und FRCNN-ResNet FPN für Bilder mit hoher Auflösung). Bilder).

Wir sind fest davon überzeugt, dass eine solche durch maschinelles Lernen unterstützte Echtzeitüberwachung dazu beitragen wird, Herstellungsfehler schnell zu erkennen und zu lokalisieren, ihren Ursprung genau zu bestimmen und zeitnahe Anpassungen der Herstellungsprozesse vorzunehmen.

Der Aufsatz ist wie folgt aufgebaut: In „Ähnliche Arbeiten“ untersuchen wir die Literatur mit besonderem Augenmerk auf die Implementierung von Deep Learning zur Fehlererkennung. Im „Überblick über Einspruchserkennungsmodelle“ werden die relevanten Deep-Learning-Modelle erläutert. In diesem Abschnitt wird der Leser auch mit unserer vorgeschlagenen Modellarchitektur vertraut gemacht und erläutert, wie sie sich vom Stand der Technik unterscheidet. Unter „Experimentieren“ beschreiben wir den Datensatz und die Testmethodik. Unter „Ergebnisse“ präsentieren wir die experimentellen Ergebnisse und Ablationsstudien. Der Abschnitt „Diskussion“ vergleicht die Ergebnisse anhand unseres Modells mit dem Stand der Technik, während der Abschnitt „Schlussfolgerung“ die wichtigsten Ergebnisse zusammenfasst und zukünftige Forschungsrichtungen vorstellt.

Hier präsentieren wir einen kurzen, aber dennoch repräsentativen Überblick über das Fachgebiet. Zero-Defect-Manufacturing ist ein zentraler Bestandteil von Industrie 4.0. Das Null-Fehler-Konzept wurde 1965 als Qualitäts- und Zuverlässigkeitsprogramm der US-Armee eingeführt12. Forscher haben verschiedene Techniken erforscht, um Herstellungsprozesse ZDM-konform zu gestalten. In dieser Arbeit konzentrieren wir uns hauptsächlich auf die Anwendung von Deep Learning zur Fehlererkennung. Vor zwei Jahren implementierten Forscher einen auf dem Extended Deep Belief Network (EDBN) basierenden Fehlerklassifizierer für chemische Prozesse unter Verwendung einer Kombination aus Rohdaten und versteckten Merkmalen13. Allerdings ist eine solche Architektur komplex und erfordert eine längere Zeit zur Verarbeitung der Daten. Andere schlugen einen Stacked Quality-Driven Autoencoder (SQAE) vor, der qualitätsrelevante Merkmale erfasst und die irrelevanten für Soft-Sensing-Anwendungen vernachlässigt14. Transfer Convolutional Neural Networks (CNNs) kombinieren Online-CNNs und kleinere offline flache CNN-Netzwerke15. Dieser Ansatz zeigt, dass das Vortraining der flachen Netzwerke und die Übertragung des Wissens auf das Online-Netzwerk die Genauigkeit der Modelle erheblich verbessern kann15. Solche Methoden des Transferlernens führen jedoch tendenziell zu unerwünschten Verzerrungen in den Modellen, was eine Verallgemeinerung über verschiedene Stichproben hinweg verhindert16. Eine zentrale Annahme bei Deep-Learning-basierten Methoden ist, dass die Testdaten und die Trainingsdaten aus derselben Verteilung stammen17. Konkret geht man davon aus, dass sich die Umweltbedingungen nicht ändern. Daher kann ein Deep Transfer Network eine bessere Domänenanpassung erreichen18. Tatsächlich wurden solche CNN-basierten Netzwerke früher zur Risserkennung auf Oberflächen verwendet19.

Im Jahr 2018 haben Vafeidas et al. führten eine vergleichende Analyse der Leistung klassischer Algorithmen für maschinelles Lernen durch, um fehlerhafte Komponentenplatzierung auf Leiterplatten zu erkennen20. Zur Extraktion der Merkmale wurde eine Kombination aus Computer-Vision-Algorithmen verwendet. Damals erreichten Support Vector Machines die höchste Klassifizierungsgenauigkeit20. Im Jahr 2020 wurde eine auf 3D-Faltungs-Neuronalen Netzen (3DCNN) basierende Architektur verwendet, um die Änderungen in Form und Volumen von Klebertropfen zu simulieren, die auf Liquid Cystal Polymer-Substraten abgelagert wurden, bevor integrierte Schaltkreise angebracht wurden21.

Virtuelle Metrologie nutzt verfügbare Informationen von Sensoren oder visuellen Eingaben, um Parameter zu bewerten, deren Messung schwierig oder teuer ist8,9. Basierend auf dem gleichen Paradigma wurden Autoencoder auf fehlerfreien Halbleiterchips trainiert und dann zur Anomalieerkennung verwendet22. Ein ähnlicher Ansatz wurde auch für die Wafer-Fehlerüberwachung23 verwendet. Die Autoren zeigten, dass das Modell in der Lage ist, rauschtolerante Merkmale zu extrahieren. Dieser Prozess erkennt jedoch auch jede anomale Probe als fehlerhafte Probe.

In den letzten Jahren verwendeten Forscher mehrere Methoden, um die Erkennung von Defekten in unbestückten Leiterplatten zu rationalisieren und zu automatisieren. Wavelet-basierte Algorithmen wurden erstmals zur Fehlererkennung implementiert24. Die größte Einschränkung dieser Methoden ist ihre schlechte Verallgemeinerung25. Zur Klassifizierung von Fehlertypen wurden klassische Algorithmen des maschinellen Lernens wie Support-Vektor-Maschinen und Entscheidungsbäume implementiert26,27. Diese Methoden erfordern umfangreiches Feature-Engineering, um die Rohdaten zu verarbeiten und sinnvolle Features für das Modell zu identifizieren. Dies wiederum führt zu einer unbeabsichtigten, von Experten verursachten Verzerrung der Ergebnisse16. Dieser Ansatz erfordert zusätzliche Vorverarbeitungsschritte, was die Verarbeitungszeit erhöht und die Skalierbarkeit verringert. Unser vorgeschlagenes Deep-Learning-Modell versucht, die Merkmale direkt aus den Bildern selbst zu extrahieren. Tatsächlich haben mehrere Forscher eine Kombination aus Computer-Vision-Methoden und Deep Learning zur Erkennung und Klassifizierung von Defekten eingesetzt28,29,30,31. Dadurch entstehen auch Vorverarbeitungspipelines, was zu Verzögerungen und Skalierbarkeitsproblemen führt. Letztes Jahr machten die DETR-Modelle viele handgefertigte Komponenten für die PCB-Defekterkennung überflüssig32. Darüber hinaus ist der Einsatz von Transferlernen eine beliebte Technik zur Anwendung komplexer Deep-Learning-Modelle auf kleine Datensätze. Kürzlich haben einige Gruppen Transferlernen zur Fehlererkennung implementiert33,34,35. Allerdings neigen diese Modelle dazu, Verzerrungen aus dem Vortraining zu berücksichtigen16. In diesem Jahr wurden erstmals Generative Adversarial Networks (GANs) implementiert, um die Qualität der Daten zu verbessern, was wiederum die Genauigkeit der Modelle verbessert36.

Objekterkennungsmodelle können gleichzeitig mehrere Aufgaben an einem einzelnen Bild ausführen, darunter: (i) Erkennung mehrerer Objekte, (ii) Klassifizierung der Defekte und (iii) Lokalisierung37. Dies macht sie zu idealen Deep-Learning-Modellen für den Einsatz in der Fehlerdiagnose. Mehrere Forschungsteams erforschen derzeit Objekterkennungsmodelle, um kleine Objekte zu erkennen38,39. Zweistufige Objekterkennungsmodelle wie FRCNN kombinieren zwei Netzwerke und verfügen daher über eine große Anzahl von Parametern und erfordern höhere Bildverarbeitungsverzögerungen. Dies macht es sehr schwierig, sie in einer Hochgeschwindigkeitsfertigungslinie einzusetzen. Einstufige Objektdetektoren sind schneller und eignen sich daher besser für den Einsatz nahezu in Echtzeit. Erst letztes Jahr begannen Forscher, einstufige Objekterkennungsmodelle zur Lokalisierung und Klassifizierung von Defekten zu verwenden40,41. Außerdem erfordert die optische Inspektion hochauflösende Bilder und Geräte42. Dies macht es für kleine Produktionen schwierig, solche Technologien zu übernehmen. Nach unserem besten Wissen ist dies die erste umfassende Studie, die die Leistung solcher Modelle auf Bildern mit niedriger Auflösung untersucht und verbessert.

Dieser Abschnitt gibt einen kurzen Überblick über die verschiedenen Modelle, die in der Arbeit verwendet werden. Die Literatur gibt einen umfassenden Überblick über die verschiedenen Deep-Learning-Methoden, die zur Objekterkennung eingesetzt werden37. In dieser Arbeit konzentrieren wir uns zum Vergleich auf die hochmodernen Modelle You-Only-Look-Once (YOLO), RetinaNet und Faster R-CNN.

You-Only-Look-Once (YOLO)43 ist ein einstufiges Objekterkennungsmodell. Es besteht aus drei Hauptbestandteilen, nämlich dem Rückgrat, dem Hals und dem Kopf. Das Rückgrat ist ein Faltungs-Neuronales Netzwerk, das Bilder unterschiedlicher Größe als Eingabe verwendet und die Gesamtmerkmale der Bilder bildet. Der Hals stellt eine Reihe von Netzwerkschichten dar, die die Merkmale zusammenführen können, um die Informationen anzureichern. Die verarbeiteten Merkmale werden der Vorhersageschicht zugeführt, wo der Klassifikator die Klasse der Objekte erhält und die endgültigen Koordinaten des Begrenzungsrahmens generiert.

Das Netzwerk unterteilt das Bild in Rasterbereiche und sagt rechteckige Begrenzungsrahmen in jedem Bereich voraus. Das Basismodell für YOLO ähnelt GoogLeNet44, wobei das Inception-Modul durch 1 × 1 und 3 × 3 Faltungsschichten ersetzt wurde. Die endgültige Vorhersage wird durch zwei vollständig verbundene Schichten über die gesamte Faltungsmerkmalskarte erstellt. Das Blockdiagramm in Abb. 1 erfasst die Netzwerkstruktur von YOLO.

Struktur des YOLO-Netzwerks.

Die Verlustfunktion für das Netzwerk besteht aus zwei Teilen: dem Lokalisierungsverlust für die Vorhersage der Bounding-Box-Offsets und dem Klassifizierungsverlust für bedingte Klassenwahrscheinlichkeiten. Die Verluste werden als Summe der quadrierten Fehler berechnet. Die meisten Begrenzungsrahmen enthalten keine Instanz des Objekts. Daher ist es wichtig, den Verlust durch die Hintergrundrahmen zu verringern. Zwei Gewichtsparameter werden verwendet, um einen Ausgleich zwischen den Koordinaten des Begrenzungsrahmens und der Vorhersage der Konfidenzbewertung für Rahmen ohne Objekte herzustellen.

YOLO v545 basiert auf einer ähnlichen Struktur wie YOLO. Daher führt es die Erkennung direkt über dicht besiedelten Standorten durch. Das Backbone extrahiert zunächst die dominanten Merkmale aus den Eingabebildern. In YOLO v5 wird das Cross Stage Partial (CSP) Network als Backbone verwendet. Der Hals wird dann zur Generierung von Merkmalspyramidenfiltern verwendet. Sie helfen dem Modell, dasselbe Objekt in unterschiedlichen Maßstäben und Größen zu erkennen. YOLO v5 verwendet PANet als Hals46. Schließlich führt der Kopf den Erkennungsteil durch. Es wendet Ankerkästen auf die extrahierten Merkmale an und erzeugt Ausgabevektoren mit Klassenwahrscheinlichkeiten, Objektbewertungen und Begrenzungsrahmen. YOLO v5 verwendet Leaky-ReLU für die verborgenen Schichten und Sigmoid-Aktivierung für die Ausgabeschicht. Für große Modelle wird der stochastische Gradientenoptimierer (SGD) mit einem binären Kreuzentropieverlust (BCE) bevorzugt47. Anfang dieses Jahres haben Forscher YOLO-basierte Objekterkennungsmethoden zur Fehlerdiagnose angewendet48,49.

Schnellere R-CNNs (FRCNNs) kombinieren zwei Netzwerke50. Zunächst generiert ein Region Proposal Network (RPN) Regionsvorschläge. Auf diese Vorschläge wiederum greift ein Detektornetzwerk zur Objekterkennung zurück. Das Faster R-CNN stellt eine deutliche Verbesserung gegenüber seinem Vorgänger, dem Fast R-CNN-Modell51, dar, da es das RPN anstelle einer selektiven Suchmethode verwendet, um die Regionsvorschläge zu generieren. Der RPN ordnet die Anker der Regionsboxen und schlägt die Anker vor, die die Objekte am wahrscheinlichsten enthalten. Diese Anker spielen eine entscheidende Rolle in den Faster R-CNN-Modellen. Typische FRCNNs verwenden neun Anker an jeder Position eines Bildes. Das RPN gibt eine Reihe von Vorschlägen aus, die von einem Klassifikator und Regressor weiter untersucht werden, um das Vorkommen von Objekten zu überprüfen. Somit sagt die RPN die Wahrscheinlichkeit voraus, dass ein Anker ein sinnvolles Objekt oder Teil des Hintergrunds ist, und verfeinert dann den Anker. Anschließend werden die Anker mit der größeren Überlappung mit den Ground-Truth-Boxen als Vordergrund gekennzeichnet. Im Gegensatz dazu werden die Anker mit geringen Überlappungen als Hintergrund gekennzeichnet. Der Regressor berechnet den L1-Verlust anhand der Position des Begrenzungsrahmens und der positiven Anker. Die Standardkonfiguration verwendet die Mittelposition, Höhe und Breite als Eingabe. Wir haben jedoch festgestellt, dass die Verwendung der Koordinaten oben links und unten rechts ein geringfügig besseres Ergebnis liefert. Nach dem RPN schlägt das Modell Regionen mit unterschiedlichen Größen vor. Ein ROI-Pooling-Layer (Region of Interest) teilt dann die Eingabe-Feature-Map in eine feste Anzahl gleich großer Regionen auf und wendet dann maximales Pooling auf jede Region an, um unabhängig von der Eingabe die gleichen Regionsgrößen sicherzustellen. Als Hintergrund haben wir ResNet 50 mit Feature-Pyramiden-Netzwerken verwendet. Der SGD-Optimierer mit abnehmender Lernrate liefert die besten Ergebnisse.

RetinaNet52 ist ein zusammengesetztes Netzwerk, das ein Backbone-, Klassifizierungs- und Regressionssubnetz verwendet. Das typische Backbone verwendet ein ResNet mit Feature Pyramid Network (FPN)53 und nutzt zwei seitlich miteinander verbundene Pfade. Der Bottom-up-Pfad verwendet die Ausgabe der endgültigen Feature-Map aus einer Reihe aufeinanderfolgender Faltungsschichten. Der Top-Down-Pfad nutzt das Upsampling des nächsten Nachbarn, um die letzte Feature-Map auf die gleiche Größe wie die vorhergehende vorletzte Ebene zu erweitern. Diese Schichten werden durch elementweise Addition zusammengeführt. Anschließend wird iteriert, bis Feature-Maps vom Bottom-up-Pfad über die lateralen Verbindungen eine entsprechende Feature-Map finden. Dieser Prozess macht das Modell maßstabsinvariant. Das Klassifizierungssubnetz verwendet ein Faltungsnetzwerk (CNN), das an jeden FPN angeschlossen ist. Typischerweise werden vier 3×3-Faltungsschichten mit 256 Filtern verwendet, gefolgt von einer ReLU-Aktivierung. Dann folgt eine weitere 3 × 3-Faltungsschicht mit Sigmoidaktivierung. Der verwendete Klassifizierungsverlust ist eine Variante des Fokusverlusts52. Das Regressionssubnetz ist parallel zum Klassifizierungssubnetz an die Feature-Maps des FPN angehängt, ähnlich einer Klassifizierungsnetzwerkarchitektur. Das RetinaNet wählt normalerweise die 1.000 Ankerboxen mit dem höchsten Konfidenzwert aus jeder FPN-Ebene aus. Um Redundanz zu vermeiden, kann die Nicht-Maximum-Unterdrückung (NMS) unabhängig auf jede Klasse angewendet werden. Anschließend wird die Ankerbox mit dem höchsten Konfidenzwert ausgewählt und überlappende Ankerboxen mit einem Intersection-over-Union (IoU) von mehr als 0,554 entfernt. Schließlich führt der Regressor eine Offset-Vorhersage durch, um die Ankerauswahl zu verfeinern und eine Begrenzungsrahmenvorhersage zurückzugeben.

Das vorgeschlagene Modell ist eine Variation von YOLO v5. Unser vorgeschlagenes Netzwerk ist eine Kombination aus CNNs und Transformers. Abbildung 2 zeigt die Modellstruktur, die die drei Hauptblöcke umfasst, nämlich das Rückgrat, den Hals und den Kopf. Das Transformatormodul ist an der Verbindungsstelle zwischen Hals und Rückgrat enthalten. Es bietet mehrstufige Funktionen mit globalen Informationen zur Erkennung. Dies erweitert den Empfangsbereich des Faltungsnetzwerks. Das CNN-Netzwerk extrahiert die zugrunde liegenden geometrischen Merkmale der Bilder. Diese Feature-Maps bestehen normalerweise aus Schlüsselpunkten, Linien und einigen grundlegenden geometrischen Mustern55. Für eine bessere Darstellung des Bildes sind sowohl die globale Abhängigkeit als auch die Lokalitätsmodellierung wichtig56. Im Gegensatz zu Standardtransformatornetzwerken, die für Datensequenzen verwendet werden, verarbeitet unser Modell direkt vom Faltungsnetzwerk generierte Feature-Maps. Daher kann unser Modell von den Vorzügen von CNN und Transformatoren profitieren, um lange Abhängigkeiten zu modellieren und Skalierungen in Kombination mit verschiebungsinvarianten Lokalitätsdarstellungen zu erlernen48,57.

Im Abschnitt „Ergänzende Informationen“ präsentieren wir einen Vergleich zwischen den verschiedenen in diesem Artikel analysierten Modellen.

Struktur des vorgeschlagenen Modells. Die Struktur vereint die Vorzüge von Transformator- und Faltungsnetzwerken und kann daher globale Abhängigkeiten und Ortsinformationen nutzen.

Bei der Datenerweiterung handelt es sich um eine Gruppe von Techniken, mit denen zusätzliche Trainingsbeispiele generiert werden können, indem die vorhandenen Trainingsdaten geringfügig geändert oder synthetische Daten erstellt werden. Es verhindert eine Überanpassung und hilft dem Modell bei der Generalisierung58. Shorten bietet einen umfassenden Überblick über verschiedene Datenerweiterungstechniken, die für Computer Vision verwendet werden59. Das YOLOv5-Modell verwendet eine Kombination aus Mosaik, Mixup, HSV und klassischen Methoden zur Datenerweiterung. Zu den klassischen Methoden gehören vor allem Drehung, Neuskalierung, vertikales und horizontales Spiegeln, Verschieben, Hinzufügen von Rauschen, Zuschneiden und Zoomen.

Die Mosaik-Datenerweiterungstechnik kombiniert vier Trainingsbilder in einem einzigen Bild. Diese Technik wurde in YOLOv460 eingeführt. Dadurch kann das Modell lernen, Objekte in verschiedenen Maßstäben zu identifizieren. Die CutMix-Technik kombiniert Bilder, indem sie Teile ausschneidet und sie in die erweiterten Bilder einfügt. Dadurch wird die Robustheit des Modells verbessert, indem ein Teil des Eingabebilds61 geändert wird. In ähnlicher Weise ersetzt Image Occlusion Bereiche der Bilder durch zufällige Werte. Dies verhält sich wie eine Regularisierungstechnik. Eine weitere gängige Methode besteht darin, die Sättigungs- (S) und Wert- (V) Komponenten des HSV-Farbraums zu erhöhen.

Für die Durchführung unserer Experimente haben wir einen Tesla T4-Grafikprozessor (GPU) verwendet. Das Framework wurde mithilfe der PyTorch-Bibliothek Version 62 und der Ultralytics YOLOv545-Implementierung implementiert.

Die Gesamtarchitektur umfasst eine AOI-Kamera, ein Bilderfassungsgerät zum Speichern der Bilder und eine Verarbeitungseinheit mit unserem vorgeschlagenen Modell, um mehrere Defekte in der unbestückten Leiterplatte in Echtzeit genau zu erkennen, zu klassifizieren und zu lokalisieren. Abbildung 3 zeigt ein allgemeines Schema der Gesamtarchitektur.

Gesamtarchitektur des Modells.

Für dieses Projekt verwenden wir den öffentlichen HRIPCB-Datensatz, um das Objekterkennungsmodell29 zu trainieren, zu testen und zu validieren. Der Datensatz enthält 1386 beschriftete Bilder mit sechs verschiedenen Familien von Herstellungsfehlern (fehlendes Loch, Mausbiss, offener Stromkreis, Kurzschluss, Stichleitung, falsches Kupfer). Es basiert auf 10 verschiedenen Leiterplattenbildern, ergänzt um sechs verschiedene Fehlertypen29. Der Datensatz stellt „XML“-Dateien mit den Bezeichnungen von Fehlern und Typen bereit. Aufgrund der Anforderungen des Versuchsmodells werden die Dateien in „TXT“ konvertiert. Abbildung 4 zeigt die verschiedenen Fehlertypen im Datensatz.

Kommentierte extrahierte Defektkonturen (EDCs)29.

Bei der Objekterkennungsaufgabe gibt das Modell die möglichen Fehlerpositionen anhand der Vorhersagefelder aus. Um festzustellen, ob die Vorhersagebox und die Grundwahrheit identisch sind, wird in der Literatur die Metrik Intersection over Union (IoU) verwendet. Die Definition von IoU ist in Gl. angegeben. (1):

Die meisten Forscher legen den IoU-Schwellenwert auf 0,5 fest. Dies bedeutet, dass die Vorhersagebox korrekt ist, wenn das Überlappungsverhältnis 0,5 erreicht. Darüber hinaus werden durchschnittliche Präzision und Rückruf zur Bewertung der Ergebnisse der Bildklassifizierung verwendet. Die Präzision ist in Gleichung 2 definiert und der Rückruf ist in Gleichung 3 definiert.

Der Präzisionswert gibt den positiven Vorhersagewert des Modells an (oder die Fähigkeit, falsch positive Ergebnisse zu vermeiden). Unterdessen gibt der Recall-Wert die wahre positive Rate oder Sensitivität des Modells an (oder die Fähigkeit, falsch negative Ergebnisse zu vermeiden). Das Gleichgewicht zwischen Präzision und Rückruf im Kontext einer bestimmten Anwendung ist eine der größten Herausforderungen für jeden Entwickler von maschinellem Lernen.

Wir teilen den Datensatz zunächst in drei Trainings- (70 %), Validierungs- (20 %) und Test- (10 %) Sätze auf. Wir verwendeten bi-kubisches Downsampling63, um die Bilder mit niedriger Auflösung zu erzeugen. Auch die hochauflösenden Bilder wurden mit der gleichen Methode erstellt. Für die bikubische Probenahme sind keine zusätzlichen lernbaren Parameter erforderlich. Dadurch erhöht sich die Komplexität des Systems nicht. Für die meisten Experimente wurde der stochastische Gradientenabstiegsoptimierer (SGD) verwendet. Zusätzliche Experimente wurden mit den Optimierern Adam und AdamW durchgeführt. Wir haben jedoch festgestellt, dass SGD durchweg die besten Ergebnisse lieferte. Über das gleiche Verhalten wurde bereits in der Literatur berichtet47. Die Hyperparameter wurden für jedes Modell fein abgestimmt und die detaillierte Liste der mit jedem Modell verbundenen Hyperparameter ist in den Zusatzinformationen enthalten. Zur Feinabstimmung der Hyperparameter unseres vorgeschlagenen Modells haben wir einen auf genetischen Algorithmen basierenden Ansatz64 verwendet.

Der YOLO v5-Algorithmus verwendet eine Kombination verschiedener Methoden zur Datenerweiterung. Unser vorgeschlagenes Modell verwendet eine Kombination aus Bild-HSV-Augmentation, Translation, Rotation, Verwechslung und Mosaik. Die detaillierte Beschreibung jeder Erweiterungsmethode finden Sie im Abschnitt „Datenerweiterung“. Das Faster R-CNN-Modell wird mithilfe eines ResNet50- und eines MobileNetv265-Backbones zum Extrahieren der Funktionen trainiert. Das RetinaNet-Modell wird mit einem ResNet50-Feature-Extraktor trainiert. Wir haben mit ResNet50- und GhostNet-Backbone-Modellen für YOLOv5s experimentiert. Wir finden jedoch, dass Cross Stage Partial Networks (CSP) Backbone die optimalen Ergebnisse liefert. Für den Hals führten wir Experimente mit BIFPN-, FPN- und PANet-Modellen durch. Die Ergebnisse der Experimente werden im Abschnitt „Ergebnisse“ dargestellt.

Die wichtigste Verbesserung in unserem Modell ist die Hinzufügung des Transformatormodells. Die Netzwerkstruktur wird im Abschnitt „Vorgeschlagene Netzwerkstruktur“ beschrieben. Wir haben auch zusätzliche Experimente mit verschiedenen Aktivierungsfunktionen durchgeführt. Wir haben festgestellt, dass die Swish-Aktivierungsfunktion eine bessere Leistung erbringt als Mish, ReLU und Leaky-ReLU. Abbildung 5 zeigt die Trainings- und Validierungskurven für unser Modell. Es zeigt, dass unser Modell für Bilder mit niedriger Auflösung innerhalb von 100 Epochen konvergieren kann.

Die Objekterkennungsleistung wird anhand der mittleren durchschnittlichen Präzision (mAP) zwischen der Grundwahrheit und dem vorhergesagten Begrenzungsrahmen (IoU) bewertet. Um die Leistung unseres vorgeschlagenen Netzwerks zu validieren, werden in dieser Studie mehrere Experimente durchgeführt. Um die Leistung verschiedener Objekterkennungsmodelle mit unserem vorgeschlagenen Modell zu vergleichen, haben wir die Modelle gemäß den jeweiligen Referenzen codiert und dann die Experimente mit dem HRIPCB-Datensatz durchgeführt.

Abbildung 5 zeigt, dass die Leistung des Modells beim Training und bei der Validierung gleich ist, was darauf hindeutet, dass das Modell die Daten nicht übermäßig anpasst. Wir beobachten, dass der Boxverlust und der Klassifizierungsverlust in den ersten 50 Epochen vor der Sättigung stark abnehmen. Außerdem stellen wir fest, dass das Modell eine hohe Präzision und einen hohen Rückruf aufweist, was darauf hindeutet, dass das Modell nur wenige falsch-negative Ergebnisse aufweist.

Die Trainings- und Validierungskurven für unser Modell anhand von Bildern mit niedriger Auflösung. Die Diagramme (a–c) zeigen den Boxverlust, den Objektverlust und den Klassifizierungsverlust für die Trainingsstichprobe. Die Abbildungen (f–h) erfassen dieselben Metriken für den Validierungsdatensatz. Die Abbildungen (d) und (e) zeigen die Präzision und den Rückruf des Modells. Die Abbildungen (i) und (j) erfassen den mAP bei IoU = 0,5 bzw. IoU = 0,5:0,95. Für jede Figur stellt die x-Achse die Anzahl der Epochen dar.

Die in Tabelle 1 angegebenen Versuchsergebnisse stellen den Durchschnitt mehrerer Experimente dar. Wir haben zwei Versuchsreihen durchgeführt, um die Modellleistungen zu vergleichen: eine mit hochauflösenden Bildern und die andere mit Bildern mit niedriger Auflösung. Wir verwenden bikubisches Sampling63, um die Bilder mit niedriger Auflösung zu erzeugen. Die Ergebnisse in Tabelle 1 zeigen, dass unsere Methode bei Bildern mit niedriger Auflösung insgesamt eine mittlere durchschnittliche Präzision (mAP[IoU = 0,5]) von 98,1 % erreichen kann. Wir beobachten, dass das zweistufige FRCNN-Objekterkennungsmodell mit ResNet-Backbone eine hohe Leistung erzielen kann. Das Modell verfügt jedoch über eine große Anzahl von Parametern und ist deutlich langsamer als einstufige Objektdetektoren38. Unter den einstufigen Modellen beobachten wir, dass die YOLOv5-Modelle RetinaNet und YOLOv3 übertreffen. Wie erwartet beobachten wir, dass das mittlere YOLOv5m-Modell eine bessere Leistung erbringt als das kleinere YOLOv5s-Modell. Wir beobachten auch, dass unser Modell das hochmoderne mittlere YOLOv5m-Modell um 3,2 % im Gesamt-MAP übertrifft [IoU = 0,5]. Auch der mAP für IoU = 0,5:0,95 ist bei unserem Modell höher als bei allen anderen Modellen. Dies bedeutet, dass das Modell Fehler für verschiedene IoU-Schwellenwerte von 0,5 bis 0,95 in Schritten von 0,05 genau erkennen kann.

Um nützlich zu sein, sollte ein Erkennungssystem in der Lage sein, alle Arten von Fehlern zu verallgemeinern und genau zu erkennen. Tatsächlich stellen wir fest, dass andere YOLO-basierte Modelle für die Erkennung von Störungen, Mausbissen und offenen Schaltkreisdefekten schlecht geeignet sind. Das kleinere YOLOv5s-Modell erreicht nur 88,5 % mAP für Spur und 97,4 % für Leerlauf. Das hochmoderne YOLO v5m-Medium-Modell erreicht nur 91,3 % mAP für die Erkennung von Spurdefekten und 91,6 % mAP für die Erkennung offener Schaltkreise. Unser Modell übertrifft das YOLO v5m-Modell und erreicht 96,9 % mAP bei Spurdefekten und 99,5 % bei Leerlaufdefekten. Während wir deutlich bessere Leistungen erzielen, verwendet unser Modell etwa dreimal weniger Parameter (7,02 Mio.) im Vergleich zum hochmodernen FRCNN-ResNet FPN (23,59 Mio.) und YOLO V5m (20,08 Mio.).

Tabelle 2 bietet einen vergleichenden Überblick über die Ergebnisse, die mit den hochmodernen YOLO 5-basierten Modellen und unserem Modell erzielt wurden.

In dem in Abb. 6 gezeigten Beispiel stellen wir fest, dass die unbestückte Platine zwei Störungsdefekte aufweist. YOLOv3 kann das Vorhandensein beider Spurdefekte nicht identifizieren, während das YOLOv5s-Modell ein zusätzliches falsch positives Ergebnis vorhersagt. Unser vorgeschlagenes Modell ist in der Lage, beide Ausläufer korrekt zu identifizieren.

Wir haben die Defekte auf der unbestückten Platine mithilfe von drei verschiedenen Modellen festgestellt. Die untersuchte Leiterplatte weist 2 Stichleitungsdefekte auf. Wir beobachten, dass YOLOv3 das Vorhandensein beider Spurdefekte nicht erkennt, während YOLOv5s einen zusätzlichen falschen Defekt vorhersagt. Unser vorgeschlagenes Modell ist in der Lage, die beiden richtigen Ausläufer zu identifizieren.

Im nächsten Abschnitt wird nun eine vollständige Ablationsstudie für die verschiedenen Komponenten des Modells vorgestellt.

Das YOLOv5-Modell verwendet eine Kombination von Erweiterungsmethoden zur Verbesserung seiner Generalisierung. Diese Methoden werden im Abschnitt „Datenerweiterung“ besprochen. Wir stellen fest, dass das Entfernen der Mosaikmethode keinen Einfluss auf die Gesamtpräzision hat. Allerdings verringert sich dadurch die Präzision bei Stichleitungen und unechten Kupferdefekten geringfügig. Wenn wir die HSV-Augmentation entfernen, beobachten wir eine deutliche Abnahme (7 %) der Erkennungsgenauigkeit für Sporndefekte. Darüber hinaus hat das Entfernen der Skalenvergrößerung nur einen marginalen Einfluss auf die Gesamtpräzision. Durch das Entfernen aller Datenerweiterungen wird jedoch der Gesamt-mAP drastisch auf 84,7 % und die durchschnittliche Genauigkeit für die Erkennung von Spurdefekten auf 73,6 % reduziert. Wir sehen also, dass die Datenerweiterung einen erheblichen Einfluss auf die Leistung des Modells hat.

Wir haben das Path Aggregation-Modul entfernt und zum Vergleich ein BiFPN-Modell verwendet. Wir beobachten, dass das BiFPN-Modell ähnliche Ergebnisse liefert. Die Gesamtgenauigkeit steigt um 0,2 % und wir beobachten einen Anstieg von 1,4 % bei den Spurdefekten. Daher stellen wir fest, dass BiFPN die Leistung des Systems auf Kosten einer leichten Erhöhung der Rechenparameter geringfügig verbessert. Das Wasserfalldiagramm in Abb. 7 erfasst die Auswirkung jeder Modelländerung auf die durchschnittliche Präzision.

Wasserfalldiagramm mit mittlerer durchschnittlicher Präzision (mAP), das zeigt, dass wir eine signifikante Verbesserung feststellen, wenn wir die Modellarchitektur ändern. Die maximale Verbesserung ist auf das Transformatormodul zurückzuführen. Unser Modell in der Tabelle bezieht sich auf das vorgeschlagene Modell mit BIFPN-Hals.

Wir haben auch die Leistung des Modells mit verschiedenen Aktivierungsfunktionen verglichen. Wir haben die Aktivierungsfunktion für die Faltungsschicht geändert. Wir beobachten, dass die Verwendung einer ReLU-Aktivierungsfunktion die Genauigkeit verringert, da die ReLU-Funktion nicht wiederhergestellt werden kann, nachdem sie in einem negativen Bereich stecken geblieben ist. Die Leaky ReLU schneidet etwas besser ab. Wir sehen jedoch, dass die Swish-Aktivierungsfunktion die anderen Aktivierungsfunktionen übertrifft. Das in Abb. 8 dargestellte Wasserfalldiagramm erfasst die Auswirkung der Verwendung der verschiedenen Aktivierungsfunktionen auf die mittlere durchschnittliche Präzision (mAP) des Modells.

Wasserfalldiagramm mit mittlerer durchschnittlicher Präzision (mAP), das die Auswirkung einer Änderung der Aktivierungsfunktionen auf das Modell zeigt. Wir stellen eine deutliche Verbesserung fest, wenn wir die Mish-Aktivierungsfunktion verwenden. Die Swish-Aktivierungsfunktion liefert die beste Verbesserung in unserem Modell.

Die Regressionsverlustfunktion ist ein Schlüsselfaktor im Trainings- und Optimierungsprozess der Objekterkennung. Die am häufigsten verwendete Regressionsverlustfunktion ist die Smooth Ln-norm66. Mit dem Verlust der Ln-Norm sind einige Einschränkungen verbunden. Beispielsweise können sie die Parameter des Begrenzungsrahmens nicht kombinieren67. Der IoU-Verlust bietet eine deutliche Verbesserung gegenüber dem Ln-Normverlust68. Es basiert auf dem Cross-Union-Verhältnis zwischen dem Begrenzungsrahmen und der Grundwahrheit. Es ist also skaleninvariant. In bestimmten Fällen, in denen der IoU-Score der Grundwahrheit und des Begrenzungsrahmens jedoch Null ist, leidet der Verlust unter dem Problem, dass der Gradient verschwindet. Silvio et al. schlug einen generalisierten IoU(GIoU)-Verlust vor, um die Einschränkungen in IoU69 zu beheben. GIoU verwendet einen Strafterm, um den IoU-Verlust zu verhindern und die Größe der vorhergesagten Box weiter zu vergrößern, bis sie mit der Zielbox überlappt. Allerdings kann GIoU unter einer langsamen Konvergenz leiden. Daher haben Zheng et al. zeigen, dass die direkte Minimierung des normalisierten Abstands zwischen der vorhergesagten Box und der Zielbox dazu beiträgt, dass der Algorithmus viel schneller konvergiert67. Darüber hinaus werden auch die vertikale und horizontale Ausrichtung berücksichtigt. Diese neue Verlustfunktion wird als Distance Intersection over Union (DIoU)-Verlust bezeichnet. Allerdings ist DIoU nicht in der Lage, die Konsistenz der Seitenverhältnisse für Begrenzungsrahmen zu erfassen. Der vollständige IoU (CIoU)67-Regressionsverlust berücksichtigt alle geometrischen Faktoren. CIoU funktioniert durch Hinzufügen eines Straffaktors \(=\alpha \cdot V\) zu DIoU, wobei V die Konsistenz des Seitenverhältnisses darstellt. Wir haben die Wirkung dieser verschiedenen Regressionsverlustfunktionen verglichen und festgestellt, dass CIoU alle anderen Verlustfunktionen deutlich übertrifft. Abbildung 9 vergleicht die Leistung des Modells (mAP) unter Verwendung der verschiedenen Verlustfunktionen.

Regressionsverlustvergleich (RLC), der die Präzision des Modells (mAP) unter Verwendung der verschiedenen Regressionsverlustfunktionen zeigt. Der CIoU-Verlust übertrifft die anderen deutlich.

Zusätzlich zum Vergleich der gängigen Verlustfunktionen schlagen wir auch eine neue Verlustfunktion namens AIoU vor, die es dem Modell ermöglicht, die Höhe und Breite des Begrenzungsrahmens und der Grundwahrheit zu optimieren. Eine detaillierte Analyse dieser Verlustfunktion stellen wir in den Zusatzinformationen vor.

Schließlich können wir eine weitere Ablationsstudie durchführen, indem wir das Transformatormodul aus der Architektur entfernen. Wir beobachten insgesamt eine Verringerung der Genauigkeit um etwa 3,4 %. Allerdings ist der Leistungsabfall bei bestimmten Fehlertypen deutlich drastischer. Im Vergleich zum YOLOv5s-Modell beobachten wir eine Verschlechterung des mAP um etwa 9,8 % für die Erkennung von Spurdefekten und eine Verschlechterung um 5,4 % für Störkupfer. Das Wasserfalldiagramm in Abb. 7 erfasst die Auswirkung jeder Modelländerung auf die durchschnittliche Präzision. Es bestätigt, dass das Transformatormodul eine Schlüsselkomponente des Frameworks ist.

In diesem Abschnitt diskutieren wir die Ergebnisse aus mehreren Perspektiven. Die Ergebnisse zeigen, dass unser Modell in der Lage ist, mehrfach auftretende Fehler in Bildern von unbestückten Leiterplatten genau zu erkennen, zu lokalisieren und zu klassifizieren. Das Modell sagt den Ort jedes Fehlers genau voraus, klassifiziert die Art des Fehlers und liefert einen Wahrscheinlichkeitswert.

Um die potenziellen Auswirkungen dieser Arbeit zu verstehen, muss man verstehen, wie der Test- und Nacharbeitsprozess in den meisten traditionellen industriellen Leiterplattenfertigungslinien durchgeführt wird. Eine Direktkontakt-Teststation (Flying Probe) ermöglicht eine Pass/Fail-Diagnose für jede einzelne Leiterplatte. Bei einem Ausfall wird eine Leiterplatte zur Nacharbeitsstation geschickt, wo ein Techniker zunächst unter einem digitalen Mikroskop nach Fehlern sucht und nach Möglichkeit manuelle Nacharbeiten durchführt. Wenn die überarbeitete Leiterplatte immer noch fehlerhaft ist, wird sie einer weitergehenden Diagnose unterzogen (unter Verwendung von Werkzeugen wie Röntgentomographie). Einige zufällig ausgewählte PCB-Proben mit bestandener Diagnose werden auch zur Nacharbeitsprüfung und zur erweiterten Diagnose zur Qualitätskontrolle geschickt. Dies geschieht, um nicht schwerwiegende potenzielle Defekte zu erkennen, die sich auf den langfristigen Gerätebetrieb und die Lebensdauer auswirken können. Mit einem leistungsstarken und vertrauenswürdigen Modell wie dem in dieser Arbeit beschriebenen könnte der Rework-Techniker eine fehlerhafte Leiterplatte erhalten und genau wissen, um welche Mängel es sich handelt und wo sie auf der Leiterplatte zu finden sind. Mit fortschrittlicheren Analysemethoden könnte man möglicherweise auch den Ursprung dieser Fehler im Herstellungsprozess genau bestimmen. Daher könnte ein vor Ort validierter hoher Wahrscheinlichkeitswert Fertigungsunternehmen dabei helfen, ihr Vertrauen in das durch maschinelles Lernen verbesserte Diagnosetool zu stärken.

Zunächst möchten wir betonen, dass das FRCNN mit dem ResNet-Backbone angemessene Leistungen erzielen kann. Es handelt sich jedoch um einen zweistufigen Objektdetektor, der viel mehr Zeit für die Verarbeitung der Bilder benötigt und rund 23,5 Millionen Parameter verwendet38. Daher glauben wir, dass es schwierig sein könnte, dieses Netzwerk in Hochgeschwindigkeitsfertigungslinien zu implementieren. Das vorgeschlagene Modell erreicht zwar eine höhere Präzision, verwendet jedoch nur 7,02 Millionen Parameter. Dies ist ungefähr dreimal weniger als die 23,5 Millionen Parameter, die bei einem zweistufigen Detektor verwendet werden, oder die 20,8 Millionen Parameter, die beim hochmodernen YOLO5m-Modell verwendet werden.

Zweitens möchten wir hervorheben, dass das vorgeschlagene Modell eine hohe Erkennungs- und Identifizierungsgenauigkeit bei Bildern mit niedriger Auflösung beibehält. Dadurch kann die Technologie problemlos in verschiedenen Branchen übernommen werden, da keine teure Bildgebungstechnologie erforderlich ist. Darüber hinaus führt unser Modell zu einer Gesamtverbesserung des mAP[IoU = 0,5] von 3,2 % im Vergleich zum Standard-YOLOv5m-Modell bei gleicher Trainingsdauer.

Am wichtigsten ist, dass das YOLO v5m-Modell nur 91,3 % mAP für die Spurdefekterkennung erreicht. Mittlerweile erreicht unser Modell einen mAP von 96,9 % bei Spurdefekten. Wir glauben, dass dies zeigt, dass unser Modell in der Lage ist, schwer zu klassifizierende Defekte genau vorherzusagen. Dies könnte auf die Fähigkeit unseres Modells zurückzuführen sein, sowohl globale Abhängigkeit als auch Verschiebungs-/Skaleninvarianz in extrahierten Merkmalen auszunutzen.

Die Ablationsstudien zeigen, dass die Kombination von Datenerweiterungstechniken die Verallgemeinerung des Modells unterstützt und die Karte des Modells verbessert. Dies verhindert eine übermäßige Anpassung des Modells an die Daten. Die Fähigkeit, in Hochgeschwindigkeitsumgebungen mit kleinen Datensätzen zu arbeiten, ist für den Einsatz der Technologie in großem Maßstab von entscheidender Bedeutung. Daher bevorzugen wir das Modell mit PANet, auch wenn es im Vergleich zu BiFPN eine geringfügig geringere Gesamtleistung aufweist. Darüber hinaus weist das Modell mit BiFPN eine geringere Genauigkeit als PANet für Störkupfer auf, was ein häufiger Fehler während des Ätzprozesses ist. Die Ablationsstudien verdeutlichen auch, wie wichtig es ist, die richtigen Aktivierungs- und Verlustfunktionen zu verwenden, um die Leistung des Modells für eine genaue Defekterkennung zu maximieren. Tabelle 3 gibt einen vergleichenden Überblick über die Modelle.

In diesem Artikel schlagen wir ein End-to-End-Framework zur Erkennung von Herstellungsfehlern in Leiterplatten vor. Bei einem optimalen Herstellungsprozess sollte Qualität in den Prozess integriert werden. Während die meisten Herstellungsfehler auf den Herstellungsprozess selbst zurückzuführen sind, konzentrieren sich herkömmliche Pass/Fail-Methoden auf die Nachbearbeitung dieser Fehler auf den fehlerhaften Leiterplatten, anstatt ihre genaue Ursache zu identifizieren, um den Prozess schnell zu korrigieren. Unser vorgeschlagener Rahmen wird es den Fertigungseinheiten ermöglichen, im laufenden Betrieb Anpassungen am Fertigungsprozess vorzunehmen und sich einem Null-Fehler-Fertigungsparadigma anzunähern. Unser Netzwerk nutzt eine Kombination aktueller Techniken des Deep Learning – Transformatoren, Multi-Level-Feature-Fusion, Datenerweiterung und Objekterkennung. Die Ergebnisse zeigen, dass unser Modell in der Lage ist, mehrere Defekte in Bildern von unbestückten Leiterplatten mit niedriger Auflösung erfolgreich zu erkennen, zu klassifizieren und zu lokalisieren. Unser Modell ist leicht, mit niedriger Auflösung kompatibel und bietet eine Gesamtverbesserung des mAP[IoU = 0,5] um 3,2 % im Vergleich zum Standard-YOLOv5m-Modell. Basierend auf den ersten Ergebnissen glauben wir, dass die Integration von Deep-Learning-basierten Modellen in vollautomatische optische Inspektionswerkzeuge (AOI) für die Früherkennung von PCB-Herstellungsfehlern von entscheidender Bedeutung ist und möglicherweise zu erheblichen Produktivitätssteigerungen bei gleichzeitig erheblichen Kostensenkungen führen könnte.

Der vorgestellte Ansatz geht stark davon aus, dass die Test- und Trainingsdaten aus derselben Verteilung stammen. Ein interessanter Bereich zukünftiger Arbeiten könnte darin bestehen, die Leistung der Methode für Proben außerhalb der Verteilung zu untersuchen. In der aktuellen Arbeit haben wir nur einlagige Bareboard-Leiterplatten betrachtet. Ein weiterer interessanter Entwicklungsbereich könnte die Erweiterung der Analyse zur Erkennung von Defekten in mehrschichtigen Leiterplatten sein.

Die während der aktuellen Studie generierten und/oder analysierten Datensätze sind im PKU-Market-PCB-Repository verfügbar, http://robotics.pkusz.edu.cn/resources/dataset/.

Magera, JA & Dunn, GJ Leiterplatte. US-Patent 7459202 (2008).

Angelopoulos, A. et al. Fehler im Zeitalter von Industrie 4.0 angehen – Ein Überblick über Lösungen und Schlüsselaspekte des maschinellen Lernens. Sensoren 20, 109 (2019).

Artikel ADS Google Scholar

Powell, D., Magnanini, MC, Colledani, M. & Myklebust, O. Förderung der fehlerfreien Fertigung: Eine aktuelle Perspektive und zukünftige Forschungsrichtungen. Berechnen. Ind. 136, 103596. https://doi.org/10.1016/j.compind.2021.103596 (2022).

Artikel Google Scholar

Psarommatis, F., May, G., Dreyfus, P.-A. & Kiritsis, D. Null-Fehler-Herstellung: Überblick über den neuesten Stand der Technik, Mängel und zukünftige Forschungsrichtungen. Int. J. Prod. Res. 58, 1–17. https://doi.org/10.1080/00207543.2019.1605228 (2020).

Artikel Google Scholar

Psarommatis, F. & Kiritsis, D. Ein hybrides Entscheidungsunterstützungssystem zur Automatisierung der Entscheidungsfindung bei Fehlern im Zeitalter der Null-Fehler-Fertigung. J. Ind. Inf. Integr. 26, 100263. https://doi.org/10.1016/j.jii.2021.100263 (2022).

Artikel Google Scholar

He, K., Zhang, X., Ren, S. & Sun, J. Deep Residual Learning für die Bilderkennung. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition 770–778 https://doi.org/10.1109/CVPR.2016.90 (2016).

Squire, B., Brown, S., Readman, J. & Bessant, J. Die Auswirkungen der Massenanpassung auf Kompromisse in der Fertigung. Prod. Oper. Geschäftsführer 15, 10–21. https://doi.org/10.1111/j.1937-5956.2006.tb00032.x (2006).

Artikel Google Scholar

Dreyfus, P.-A., Psarommatis, F., May, G. & Kiritsis, D. Virtuelle Metrologie als Ansatz zur Produktqualitätsschätzung in der Industrie 4.0: Eine systematische Überprüfung und ein integrativer konzeptioneller Rahmen. Int. J. Prod. Res. 60, 742–765. https://doi.org/10.1080/00207543.2021.1976433 (2022).

Artikel Google Scholar

Maggipinto, M., Masiero, C., Beghi, A. & Susto, GA Ein Faltungs-Autoencoder-Ansatz zur Merkmalsextraktion in der virtuellen Messtechnik. Procedia Manuf. 17, 126–133 (2018).

Artikel Google Scholar

Moganti, M., Ercal, F., Dagli, CH & Tsunekawa, S. Automatische PCB-Inspektionsalgorithmen: Eine Umfrage. Berechnen. Vis. Bildverstand. 63, 287–313 (1996).

Artikel Google Scholar

Thibadeau, RH Automated Visual Inspection as Skilled Perception (Society of Manufacturing Engineers, 1985).

Google Scholar

Eleftheriadis, R. & Myklebust, O. Ein Leitfaden für Qualitätsschritte hin zu einer fehlerfreien Fertigung in der Industrie. In Proceedings of the International Conference on Industrial Engineering and Operations Management 332–340 (2016).

Wang, Y., Pan, Z., Yuan, X., Yang, C. & Gui, W. Ein neuartiger, auf Deep Learning basierender Fehlerdiagnoseansatz für chemische Prozesse mit erweitertem Deep-Glaubens-Netzwerk. ISA Trans. 96, 457–467. https://doi.org/10.1016/j.isatra.2019.07.001 (2020).

Artikel PubMed Google Scholar

Yuan, X. et al. Hierarchische qualitätsrelevante Merkmalsdarstellung für die Modellierung weicher Sensoren: Eine neuartige Deep-Learning-Strategie. IEEE Trans. Ind. Informieren. 16, 3721–3730. https://doi.org/10.1109/TII.2019.2938890 (2019).

Artikel Google Scholar

Xu, G., Liu, M., Jiang, Z., Shen, W. & Huang, C. Online-Fehlerdiagnosemethode basierend auf Transfer-Faltungs-Neuronalen Netzen. IEEE Trans. Instrument. Mess. 69, 509–520. https://doi.org/10.1109/TIM.2019.2902003 (2019).

Artikel Google Scholar

Roselli, D., Matthews, J. & Talagala, N. Umgang mit Voreingenommenheit in der KI. In Companion Proceedings of The 2019 World Wide Web Conference 539–544, https://doi.org/10.1145/3308560.3317590 (2019).

Ben-David, S., Blitzer, J., Crammer, K. & Pereira, F. Analyse von Darstellungen zur Domänenanpassung. In Advances in Neural Information Processing Systems, Bd. 19 (2006).

Han, T., Liu, C., Yang, W. & Jiang, D. Deep Transfer Network mit gemeinsamer Verteilungsanpassung: Ein neues intelligentes Fehlerdiagnose-Framework für Industrieanwendungen. ISA Trans. 97, 269–281. https://doi.org/10.1016/j.isatra.2019.08.012 (2020).

Artikel PubMed Google Scholar

He, Y., Song, K., Meng, Q. & Yan, Y. Ein durchgängiger Ansatz zur Erkennung von Stahloberflächenfehlern durch die Zusammenführung mehrerer hierarchischer Merkmale. IEEE Trans. Instrument. Mess. 69, 1493–1504. https://doi.org/10.1109/TIM.2019.2915404 (2019).

Artikel Google Scholar

Vafeiadis, T. et al. Ein Framework zur Inspektion der Chip-Befestigung auf Leiterplatten mithilfe von Techniken des maschinellen Lernens. J. Geschäftsführer Anal. 5, 81–94. https://doi.org/10.1080/23270012.2018.1434425 (2018).

Artikel Google Scholar

Dimitriou, N. et al. Ein Deep-Learning-Framework für Simulation und Fehlervorhersage in der Mikroelektronik. Simul. Modell. Üben. Theorie 100, 102063. https://doi.org/10.1016/j.simpat.2019.102063 (2020).

Artikel Google Scholar

Lin, F. & Cheng, K.-T. Ein künstlicher neuronaler Netzwerkansatz zum Screening von Testfluchten. Im Jahr 2017 22. Asia and South Pacific Design Automation Conference (ASP-DAC) 414–419 https://doi.org/10.1109/ASPDAC.2017.7858358 (2017).

Lee, H., Kim, Y. & Kim, CO Ein Deep-Learning-Modell für eine robuste Wafer-Fehlerüberwachung mit Sensormessrauschen. IEEE Trans. Halbleiter. Hersteller 30, 23–31 (2016).

Artikel Google Scholar

Ibrahim, Z. & Rahman Al-Attas, SA Wavelet-basierter Algorithmus zur Inspektion von Leiterplatten. Integr. Berechnen. Ing. 12, 201–213. https://doi.org/10.3233/ICA-2005-12206 (2005).

Artikel Google Scholar

Ibrahim, Z., Al-Attas, S., Aspar, Z. & Mokji, MM Leistungsbewertung des Wavelet-basierten PCB-Defekterkennungs- und -lokalisierungsalgorithmus. Im Jahr 2002 IEEE International Conference on Industrial Technology, 2002. IEEE ICIT'02., Bd. 1, 226–231 https://doi.org/10.1109/ICIT.2002.1189895 (2002).

Xie, L., Huang, R. & Cao, Z. Erkennung und Klassifizierung von Fehlermustern bei der optischen Inspektion mithilfe von Support-Vektor-Maschinen. In International Conference on Intelligent Computing 376–384, https://doi.org/10.1007/978-3-642-39479-9_45 (2013).

Goyal, D., Choudhary, A., Pabla, B. & Dhami, S. Support-Vector-Maschinen-basiertes berührungsloses Fehlerdiagnosesystem für Lager. J. Intell. Hersteller Rev. 31, 1275–1289. https://doi.org/10.1007/s10845-019-01511-x (2020).

Artikel Google Scholar

Malge, P. & Nadaf, R. Erkennung, Klassifizierung und Lokalisierung von PCB-Defekten mithilfe mathematischer Morphologie und Bildverarbeitungstools. Int. J. Comput. Appl. 87, 40–45. https://doi.org/10.5120/15240-3782 (2014).

Artikel Google Scholar

Huang, W., Wei, P., Zhang, M. & Liu, H. Hripcb: Ein anspruchsvoller Datensatz für die Erkennung und Klassifizierung von PCB-Defekten. J. Eng.https://doi.org/10.1049/joe.2019.1183 (2020).

Artikel Google Scholar

Takada, Y., Shiina, T., Usami, H., Iwahori, Y. & Bhuyan, M. Fehlererkennung und Klassifizierung elektronischer Leiterplatten mithilfe von Schlüsselpunktextraktion und CNN-Funktionen. In „The Ninth International Conferences on Pervasive Patterns and Applications Defect“, Bd. 100, 113–116 (2017).

Liu, Z. & Qu, B. Bildverarbeitungsbasierte Online-Erkennung von PCB-Defekten. Mikroprozess. Mikrosystem. 82, 103807. https://doi.org/10.1016/j.micpro.2020.103807 (2021).

Artikel Google Scholar

Jin, J., Feng, W., Lei, Q., Gui, G. & Wang, W. PCB-Defektprüfung mittels verformbarem DETR. Im Jahr 2021 7. Internationale Konferenz für Computer und Kommunikation (ICCC) 646–651 https://doi.org/10.1109/ICCC54389.2021.9674579 (2021).

Silva, LH d. S. et al. Automatische optische Inspektion zur Erkennung defekter Leiterplatten mittels Transfer-Learning. Im Jahr 2019 IEEE Latin American Conference on Computational Intelligence (LA-CCI) 1–6 https://doi.org/10.1109/LA-CCI47412.2019.9037036 (2019).

Ghosh, B., Bhuyan, M., Sasmal, P., Iwahori, Y. & Gadde, P. Fehlerklassifizierung von Leiterplatten basierend auf Transferlernen. Im Jahr 2018 IEEE Applied Signal Processing Conference (ASPCON) 245–248 https://doi.org/10.1109/ASPCON.2018.8748670 (2018).

Volkau, I., Mujeeb, A., Wenting, D., Marius, E. & Alexei, S. Erkennung von Defekten in Leiterplatten mithilfe unbeaufsichtigter Merkmalsextraktion beim Transferlernen. Im Jahr 2019 International Conference on Cyberworlds (CW) 101–108 https://doi.org/10.1109/CW.2019.00025 (2019).

Sie, S. PCB-Defekterkennung basierend auf einem generativen kontradiktorischen Netzwerk. Im Jahr 2022 2. Internationale Konferenz für Unterhaltungselektronik und Computertechnik (ICCECE) 557–560 https://doi.org/10.1109/ICCECE54139.2022.9712737 (2022).

Jiao, L. et al. Eine Umfrage zur Deep-Learning-basierten Objekterkennung. IEEE Access 7, 128837–128868. https://doi.org/10.1109/ACCESS.2019.2939201 (2019).

Artikel Google Scholar

Huang, J. et al. Kompromisse zwischen Geschwindigkeit und Genauigkeit für moderne Faltungsobjektdetektoren. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition 3296–3297 https://doi.org/10.1109/CVPR.2017.351 (2017).

Wu, X., Ge, Y., Zhang, Q. & Zhang, D. PCB-Defekterkennung mithilfe von Deep-Learning-Methoden. Im Jahr 2021 IEEE 24th International Conference on Computer Supported Cooperative Work in Design (CSCWD) 873–876 https://doi.org/10.1109/CSCWD49262.2021.9437846 (2021).

Adibhatla, VA et al. Anwendung von Deep Learning zur Fehlererkennung in Leiterplatten mithilfe eines neuesten Modells von „You-only-look-once“. Mathematik. Biowissenschaften. Eng.https://doi.org/10.3934/mbe.2021223 (2021).

Artikel PubMed Google Scholar

Lan, Z., Hong, Y. & Li, Y. Eine verbesserte yolov3-Methode zur Erkennung von PCB-Oberflächenfehlern. Im Jahr 2021 IEEE International Conference on Power Electronics, Computer Applications (ICPECA) 1009–1015 https://doi.org/10.1109/ICPECA51329.2021.9362675 (2021).

Watanabe, K. et al. Überprüfung optischer Inspektionsmethoden und -ergebnisse. In Proceedings of SRF 123 (2009).

Redmon, J., Divvala, S., Girshick, R. & Farhadi, A. Sie schauen nur einmal hin: Einheitliche Objekterkennung in Echtzeit. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition 779–788 https://doi.org/10.1109/CVPR.2016.91 (2016).

Szegedy, C. et al. Mit Windungen tiefer gehen. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition 1–9 https://doi.org/10.1109/CVPR.2015.7298594 (2015).

Jocher, G. et al. ultralytics/yolov5: v6.0 – YOLOv5n „Nano“-Modelle, Roboflow-Integration, TensorFlow-Export, OpenCV DNN-Unterstützung https://doi.org/10.5281/zenodo.5563715 (2021).

Liu, S., Qi, L., Qin, H., Shi, J. & Jia, J. Pfadaggregationsnetzwerk, zum Beispiel Segmentierung. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition 8759–8768 https://doi.org/10.1109/CVPR.2018.00913 (2018).

Keskar, NS & Socher, R. Verbesserung der Generalisierungsleistung durch den Wechsel von Adam zu SGD. 1, 143–148 https://doi.org/10.1109/ICNN.1994.374153 arXiv-Vorabdruck arXiv:1712.07628 (2017).

Guo, Z., Wang, C., Yang, G., Huang, Z. & Li, G. Msft-yolo: Verbessertes yolov5 basierend auf einem Transformator zur Erkennung von Defekten auf der Stahloberfläche. Sensoren 22, 3467. https://doi.org/10.3390/s22093467 (2022).

Artikel ADS CAS PubMed PubMed Central Google Scholar

Huang, H., Tang, X., Wen, F. & Jin, X. Methode zur Erkennung kleiner Objekte mit flachem Feature-Fusion-Netzwerk zur Erkennung von Chipoberflächenfehlern. Wissenschaft. Rep. 12, 1–9. https://doi.org/10.1038/s41598-022-07654-x (2022).

Artikel ADS CAS Google Scholar

Ren, S., He, K., Girshick, R. & Sun, J. Faster R-CNN: Auf dem Weg zur Echtzeit-Objekterkennung mit Regionsvorschlagsnetzwerken. Adv. Neuronal. Inf. Verfahren. Syst. 28, 91–99. https://doi.org/10.1109/TPAMI.2016.2577031 (2015).

Artikel Google Scholar

Girshick, R. Fast R-CNN. In Proceedings of the IEEE International Conference on Computer Vision 1440–1448 https://doi.org/10.1109/ICCV.2015.169 (2015).

Lin, T.-Y., Goyal, P., Girshick, R., He, K. & Dollár, P. Fokusverlust für die Erkennung dichter Objekte. IEEE Trans. Muster Anal. Mach. Intell.https://doi.org/10.1109/TPAMI.2018.2858826 (2020).

Artikel PubMed Google Scholar

Lin, T.-Y. et al. Feature-Pyramidennetzwerke zur Objekterkennung. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition 936–944 https://doi.org/10.1109/CVPR.2017.106 (2017).

Neubeck, A. & Van Gool, L. Effiziente nicht maximale Unterdrückung. In der 18. Internationalen Konferenz zur Mustererkennung (ICPR'06), Bd. 3, 850–855 https://doi.org/10.1109/ICPR.2006.479 (2006).

Ren, S., He, K., Girshick, R., Zhang, X. & Sun, J. Objekterkennungsnetzwerke auf Faltungsmerkmalskarten. IEEE Trans. Muster Anal. Mach. Intel. 39, 1476–1481. https://doi.org/10.1109/TPAMI.2016.2601099 (2016).

Artikel Google Scholar

Cordonnier, J.-B., Loukas, A. & Jaggi, M. Zur Beziehung zwischen Selbstaufmerksamkeit und Faltungsschichten. In der achten internationalen Konferenz über lernende Repräsentationen – ICLR 2020 CONF (2020).

Khan, S. et al. Transformers in Vision: Eine Umfrage. ACM-Computing. Überleben. (CSUR)https://doi.org/10.1145/3505244 (2021).

Artikel Google Scholar

Perez, L. & Wang, J. Die Wirksamkeit der Datenerweiterung bei der Bildklassifizierung mithilfe von Deep Learning. https://doi.org/10.48550/arXiv.1712.04621arXiv Vorabdruck arXiv:1712.04621 (2017).

Shorten, C. & Khoshgoftaar, TM Eine Umfrage zur Bilddatenerweiterung für Deep Learning. J. Big Data 6, 1–48. https://doi.org/10.1186/s40537-019-0197-0 (2019).

Artikel Google Scholar

Bochkovskiy, A., Wang, C.-Y. & Liao, H.-YM Yolov4: Optimale Geschwindigkeit und Genauigkeit der Objekterkennung. https://doi.org/10.48550/arXiv.2004.10934 arXiv-Vorabdruck arXiv:2004.10934 (2020).

Yun, S. et al. Cutmix: Regularisierungsstrategie zum Trainieren starker Klassifikatoren mit lokalisierbaren Funktionen. In Proceedings of the IEEE/CVF International Conference on Computer Vision 6023–6032 https://doi.org/10.1109/ICCV.2019.00612 (2019).

Paszke, A. et al. Pytorch: Eine leistungsstarke Deep-Learning-Bibliothek im Imperativ-Stil. In Wallach, H. et al. (Hrsg.) Fortschritte in neuronalen Informationsverarbeitungssystemen 32 8024–8035 (Curran Associates, Inc., 2019).

Keys, R. Kubische Faltungsinterpolation für die digitale Bildverarbeitung. IEEE Trans. Akustisch. Sprachsignalprozess. 29, 1153–1160. https://doi.org/10.1109/TASSP.1981.1163711 (1981).

Artikel ADS MathSciNet MATH Google Scholar

Alibrahim, H. & Ludwig, SA Hyperparameteroptimierung: Vergleich des genetischen Algorithmus mit der Rastersuche und der Bayes'schen Optimierung. Im Jahr 2021 IEEE Congress on Evolutionary Computation (CEC) 1551–1559 https://doi.org/10.1109/CEC45853.2021.9504761 (2021).

Sandler, M., Howard, A., Zhu, M., Zhmoginov, A. & Chen, L.-C. Mobilenetv2: Invertierte Residuen und lineare Engpässe. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition 4510–4520 https://doi.org/10.1109/CVPR.2018.00474 (2018).

Wang, H., Nie, F. & Huang, H. Robustes metrisches Distanzlernen durch gleichzeitige Minimierung und Maximierung der l1-Norm. In International Conference on Machine Learning, Bd. 32, 1836–1844 (2014).

Zheng, Z. et al. Distanzverlust: Schnelleres und besseres Lernen für die Bounding-Box-Regression. In Proceedings of the AAAI Conference on Artificial Intelligence, Bd. 34, 12993–13000 https://doi.org/10.1609/aaai.v34i07.6999 (2020).

Yu, J., Jiang, Y., Wang, Z., Cao, Z. & Huang, T. Unitbox: Ein fortschrittliches Objekterkennungsnetzwerk. In Proceedings of the 24th ACM International Conference on Multimedia 516–520 https://doi.org/10.1145/2964284.2967274 (2016).

Rezatofighi, H. et al. Verallgemeinerter Schnitt über Vereinigung: Eine Metrik und ein Verlust für die Bounding-Box-Regression. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition 658–666 https://doi.org/10.1109/CVPR.2019.00075 (2019).

Referenzen herunterladen

Die Autoren danken den Programmen NSERC-Discovery und Canada Research Chair für ihre finanzielle Unterstützung.

Fakultät für Elektrotechnik, École de Technologie Supérieure, 1100 Notre-Dame Ouest, Montreal, QC, H3C 1K3, Kanada

Abhiroop Bhattacharya und Sylvain G. Cloutier

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

SGC und AB entwarfen das Konzept und den experimentellen Ansatz. AB entwickelte das Modell und führte die Experimente durch. AB hat den ersten Entwurf des Manuskripts geschrieben. SGC überprüfte das Manuskript und korrigierte das Manuskript.

Korrespondenz mit Sylvain G. Cloutier.

Die Autoren geben an, dass keine Interessenkonflikte bestehen.

Springer Nature bleibt neutral hinsichtlich der Zuständigkeitsansprüche in veröffentlichten Karten und institutionellen Zugehörigkeiten.

Open Access Dieser Artikel ist unter einer Creative Commons Attribution 4.0 International License lizenziert, die die Nutzung, Weitergabe, Anpassung, Verbreitung und Reproduktion in jedem Medium oder Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle angemessen angeben. Geben Sie einen Link zur Creative Commons-Lizenz an und geben Sie an, ob Änderungen vorgenommen wurden. Die Bilder oder anderes Material Dritter in diesem Artikel sind in der Creative-Commons-Lizenz des Artikels enthalten, sofern in der Quellenangabe für das Material nichts anderes angegeben ist. Wenn Material nicht in der Creative-Commons-Lizenz des Artikels enthalten ist und Ihre beabsichtigte Nutzung nicht durch gesetzliche Vorschriften zulässig ist oder über die zulässige Nutzung hinausgeht, müssen Sie die Genehmigung direkt vom Urheberrechtsinhaber einholen. Um eine Kopie dieser Lizenz anzuzeigen, besuchen Sie http://creativecommons.org/licenses/by/4.0/.

Nachdrucke und Genehmigungen

Bhattacharya, A., Cloutier, SG End-to-End-Deep-Learning-Framework für die Klassifizierung von Herstellungsfehlern bei Leiterplatten. Sci Rep 12, 12559 (2022). https://doi.org/10.1038/s41598-022-16302-3

Zitat herunterladen

Eingegangen: 13. April 2022

Angenommen: 07. Juli 2022

Veröffentlicht: 22. Juli 2022

DOI: https://doi.org/10.1038/s41598-022-16302-3

Jeder, mit dem Sie den folgenden Link teilen, kann diesen Inhalt lesen:

Leider ist für diesen Artikel derzeit kein Link zum Teilen verfügbar.

Bereitgestellt von der Content-Sharing-Initiative Springer Nature SharedIt

Wissenschaftliche Berichte (2023)

Multimedia-Tools und -Anwendungen (2023)

Durch das Absenden eines Kommentars erklären Sie sich damit einverstanden, unsere Nutzungsbedingungen und Community-Richtlinien einzuhalten. Wenn Sie etwas als missbräuchlich empfinden oder etwas nicht unseren Bedingungen oder Richtlinien entspricht, kennzeichnen Sie es bitte als unangemessen.