Verwendung des Segmenters

Dieses Tutorial führt Sie durch die Erstellung einer vollständigen Segmentierungsinspektion mit den KI-gestützten Segmentierungsfunktionen des OV80i. Sie lernen, wie Sie bestimmte Merkmale wie Bleistiftmarkierungen, Kratzer oder andere Fehler erkennen und analysieren können, indem Sie die Kamera darauf trainieren, diese Merkmale Pixel für Pixel zu identifizieren und zu vermessen.

Video-Anleitung

Sehen Sie sich dieses Thema in Aktion an: How to create a segmentation recipe in minutes

Was Sie lernen werden:

• Wie Sie ein Segmentierungsrezept von Anfang bis Ende einrichten
• Wie Sie ein KI-Modell trainieren, um bestimmte Merkmale zu erkennen
• Wie Sie die Pass/Fail-Logik basierend auf Segmentierungsergebnissen konfigurieren
• Wie Sie die Segmentierungsleistung für den Produktionseinsatz optimieren

Anwendung in der Praxis: Dieses Tutorial verwendet die Erkennung von Bleistiftmarkierungen als Beispiel, aber dieselben Prinzipien gelten für die Erkennung von Kratzern, Rissen, Verunreinigungen oder anderen visuell unterscheidbaren Merkmalen.

Voraussetzungen

• Eingerichtetes und angeschlossenes OV80i-Kamerasystem
• Musterteile mit den zu erkennenden Merkmalen (z. B. Blätter mit Bleistiftmarkierungen)
• Grundlegendes Verständnis der Konzepte des KI-Trainings
• Zugriff auf den Recipe Editor und die Node-RED-Funktionalität

Tutorial-Übersicht

Was wir erstellen werden: Ein Segmentierungsmodell, das Bleistiftmarkierungen auf Papierblättern erkennen und basierend auf der Menge der erkannten Markierungen Pass/Fail bestimmen kann.

Benötigte Zeit: 45–60 Minuten (einschließlich Trainingszeit)

Erlernte Fähigkeiten: KI-Modelltraining, Segmentierungsannotation, Konfiguration der Pass/Fail-Logik

Schritt 1: Ein neues Segmentierungsrezept erstellen

1.1 Neues Rezept starten

1. Klicken Sie auf der Seite All Recipes oben rechts auf "+ New"
2. Das Modal „Add A New Recipe" wird angezeigt
3. Geben Sie einen aussagekräftigen Name für Ihr Rezept ein (z. B. „Pencil_Mark_Detection")
4. Wählen Sie "Segmentation" aus dem Dropdown-Menü „Recipe Type"
5. Klicken Sie auf "OK", um das neue Rezept zu erstellen

Warum Segmentierung? Im Gegensatz zur Klassifizierung, die ganze Objekte identifiziert, findet und misst die Segmentierung bestimmte Merkmale innerhalb eines Bildes, was sie ideal für die Fehlererkennung, Verunreinigungsanalyse oder die Messung von Abdeckungsflächen macht.

1.2 Rezept aktivieren und Recipe Editor öffnen

1. Ihr neues Rezept wird auf der Seite „All Recipes" als "Inactive" markiert angezeigt
2. Wählen Sie "Activate" rechts neben dem Rezept

3. Klicken Sie auf "Activate and go to editor", um zu bestätigen und den Recipe Editor zu starten

Checkpoint: Sie sollten die Recipe Editor-Oberfläche mit dem Namen Ihres Segmentierungsrezepts im Breadcrumb-Menü sehen.

Schritt 2: Kamera-Bildaufnahme konfigurieren

2.1 Auf die Imaging-Einstellungen zugreifen

1. Klicken Sie im Recipe Editor unten links auf "Configure Imaging"
2. Dies öffnet die Imaging-Konfigurationsseite, auf der Sie die Kameraeinstellungen optimieren

2.2 Fokus-Einstellungen optimieren

1. Platzieren Sie ein Musterblatt mit Bleistiftmarkierungen im Sichtfeld der Kamera
2. Drehen Sie den Fokusring am Objektiv, bis die Bleistiftmarkierungen scharf sind
3. Aktivieren Sie Enable Focus View, um zu bestätigen, dass Sie sich am schärfsten Punkt befinden
4. Verwenden Sie Focus View (falls verfügbar), um Kantenhervorhebung und Fokusbewertung zu sehen

Fokus-Tipps:

• Fokussieren Sie auf die Oberfläche, an der Fehler auftreten werden
• Stellen Sie sicher, dass Bleistiftmarkierungen scharf und klar definiert erscheinen
• Ein höherer Fokuswert weist auf eine bessere Fokusqualität hin

2.3 Belichtungseinstellungen konfigurieren

1. Stellen Sie den Exposure-Schieberegler ein, um die richtige Helligkeit zu erzielen
2. Bleistiftmarkierungen sollten deutlich sichtbar sein, ohne das Papier zu überbelichten
3. Beginnen Sie mit den automatischen Einstellungen und passen Sie diese bei Bedarf an
4. Beobachten Sie die Live-Vorschau, um Änderungen in Echtzeit zu sehen

Richtlinien zur Belichtung:

• Bleistiftmarkierungen sollten einen guten Kontrast zum Papier aufweisen
• Vermeiden Sie Überbelichtung, die feine Markierungen ausblendet
• Sorgen Sie für gleichmäßige Beleuchtung im gesamten Inspektionsbereich

2.4 LED-Beleuchtung einrichten

1. Wählen Sie das passende LED Light Pattern für Ihre Anwendung
2. Für Bleistiftmarkierungen funktioniert eine gleichmäßige Beleuchtung in der Regel am besten
3. Passen Sie die LED Light Intensity an, um Schatten und Blendungen zu minimieren
4. Testen Sie verschiedene Muster, wenn Reflexionen ein Problem darstellen

2.5 Gamma und Kontrast anpassen

1. Feineinstellung von Gamma, um den Kontrast zwischen Markierungen und Hintergrund zu verbessern
2. Ein höherer Gamma-Wert kann feine Bleistiftmarkierungen besser sichtbar machen
3. Ein niedrigerer Gamma-Wert kann Rauschen in sauberen Bereichen reduzieren
4. Balancieren Sie den Gamma-Wert, um sowohl die Fehlersichtbarkeit als auch die Klarheit des Hintergrunds zu optimieren

2.6 Bildgebungseinstellungen speichern

1. Sobald alle Einstellungen optimiert sind, klicken Sie auf "Save Imaging Settings"
2. Ihre Kamerakonfiguration ist nun für dieses Rezept gespeichert
3. Die Live-Vorschau sollte klare, kontrastreiche Bilder anzeigen

Checkpoint: Ihre Kamera sollte klare Bilder liefern, in denen Bleistiftmarkierungen deutlich vom Papierhintergrund unterscheidbar sind.

Schritt 3: Vorlage und Ausrichtung konfigurieren

3.1 Zu „Template Image and Alignment" navigieren

1. Klicken Sie auf den Recipe Name im Breadcrumb-Menü, um zum Recipe Editor zurückzukehren
2. Wählen Sie "Template Image and Alignment" aus dem Menü

3.2 Aligner für dieses Tutorial überspringen

1. Da wir Merkmale auf dem gesamten Blatt erkennen, klicken Sie auf "Skip Aligner"
2. Dadurch wird die positionsbasierte Ausrichtung deaktiviert und das vollständige Bild verwendet
3. Klicken Sie auf "Save", um die Änderungen zu übernehmen

Wann sollte der Aligner verwendet werden: Aktivieren Sie den Aligner, wenn Sie Merkmale an bestimmten Stellen auf Teilen erkennen möchten, die sich bewegen oder drehen können. Bei einer vollflächigen Inspektion wie bei Bleistiftmarkierungen ist es oft sinnvoll, den Aligner zu überspringen.

Schritt 4: Inspektionsbereich einrichten

4.1 Zu „Inspection Setup" navigieren

1. Kehren Sie zum Recipe Editor zurück und wählen Sie "Inspection Setup"
2. Hier definieren Sie, welcher Bereich des Bildes analysiert werden soll

4.2 Region of Interest (ROI) konfigurieren

1. Sie sehen eine Vorschau des Sichtfelds Ihrer Kamera
2. Ziehen Sie die Ecken der ROI-Box, um deren Größe und Position anzupassen
3. Für die Erkennung von Bleistiftmarkierungen sollte in der Regel der gesamte Blattbereich abgedeckt werden
4. Stellen Sie sicher, dass die ROI alle Bereiche umfasst, in denen Bleistiftmarkierungen auftreten können

Best Practices für die ROI:

• Beziehen Sie alle Bereiche ein, in denen Fehler auftreten können
• Schließen Sie Bereiche wie Ränder oder Hintergründe aus, die nicht analysiert werden sollen
• Wählen Sie die ROI groß genug, um Positionsabweichungen der Teile zu erfassen
• Vermeiden Sie es, Text, Logos oder andere erwartete Markierungen einzubeziehen

4.3 ROI-Konfiguration speichern

1. Sobald Ihre ROI korrekt positioniert ist, klicken Sie auf "Save"
2. Der Inspektionsbereich ist nun für Ihr Segmentierungsmodell definiert

Schritt 5: Modell labeln und trainieren

5.1 Zu Label and Train navigieren

1. Kehren Sie zum Recipe Editor zurück und wählen Sie "Label and Train"
2. Hier bringen Sie der KI bei, wie Bleistiftmarkierungen aussehen

5.2 Inspektionsklasse konfigurieren

1. Klicken Sie unter Inspection Types auf "Edit"
2. Benennen Sie die Klasse in "Pencil Mark" um (oder Ihren spezifischen Fehlertyp)
3. Wählen Sie eine markante Farbe zur Visualisierung erkannter Markierungen
4. Klicken Sie auf "Save", um die Änderungen zu übernehmen

5.3 Trainingsbilder aufnehmen

1. Nehmen Sie mindestens 10 Bilder von Blättern mit verschiedenen Bleistiftmarkierungen auf
2. Variieren Sie die Trainingsbeispiele:
   • Verschiedene Größen und Formen der Bleistiftmarkierungen
   • Helle und dunkle Markierungen
   • Unterschiedliche Positionen auf dem Blatt
   • Verschiedene Markierungsdichten

Tipps für Trainingsbilder:

• Berücksichtigen Sie sowohl subtile als auch offensichtliche Markierungen
• Erfassen Sie verschiedene Lichtverhältnisse, die Sie antreffen werden
• Beziehen Sie in jedes Bild auch saubere Bereiche ohne Markierungen ein
• Stellen Sie sicher, dass die Bilder die Produktionsbedingungen widerspiegeln

5.4 Trainingsbilder annotieren

1. Verwenden Sie für jedes Trainingsbild das Brush-Werkzeug, um die Bleistiftmarkierungen nachzuzeichnen
2. Malen Sie nur die Bleistiftmarkierungen an – vermeiden Sie es, Papier oder andere Merkmale zu markieren
3. Seien Sie präzise, aber gründlich bei Ihren Annotationen
4. Klicken Sie nach Fertigstellung jedes Bildes auf "Save Annotations"

Best Practices für Annotationen:

• Seien Sie konsistent bei dem, was Sie als "Bleistiftmarkierungen" labeln
• Erfassen Sie vollständige Markierungen, nicht nur Teile davon
• Labeln Sie keine erwarteten Markierungen wie Text oder Logos
• Verwenden Sie ruhige, sorgfältige Pinselstriche für genaue Grenzen

5.5 Ihre Annotationen überprüfen

1. Überprüfen Sie alle gelabelten Bilder doppelt, um die Genauigkeit sicherzustellen
2. Achten Sie auf übersehene Markierungen oder falsch gelabelte Bereiche
3. Annotieren Sie alle Bilder neu, die korrigiert werden müssen
4. Qualitativ hochwertige Annotationen führen zu besserer Modellleistung

Schritt 6: Segmentierungsmodell trainieren

6.1 Trainingsprozess starten

1. Sobald Sie mindestens 10 Bilder gelabelt haben, klicken Sie auf "Return to Live"
2. Klicken Sie auf "Train Segmentation Model"
3. Geben Sie die Number of Iterations für das Training ein

Richtlinien für Iterationen:

• Beginnen Sie mit 100–200 Iterationen für das initiale Training
• Mehr Iterationen verbessern in der Regel die Genauigkeit, benötigen aber länger
• Überwachen Sie den Trainingsfortschritt und passen Sie ihn nach Bedarf an
• Balancieren Sie Genauigkeitsanforderungen mit der Trainingszeit

6.2 Trainingsfortschritt überwachen

1. Klicken Sie auf "Start Training", um den Prozess zu starten
2. Ein Modal zum Trainingsfortschritt wird angezeigt und zeigt Folgendes an:
   • Aktuelle Iterationsnummer
   • Trainingsgenauigkeit in Prozent
   • Geschätzte verbleibende Zeit

6.3 Optionen zur Trainingssteuerung

Während des Trainings können Sie:

• Abort Training – Anhalten, wenn Sie Änderungen vornehmen müssen
• Finish Training Early – Anhalten, wenn die Genauigkeit ausreichend ist
• Monitor Progress – Beobachten, wie sich die Genauigkeit über die Iterationen verbessert

Trainingstipps:

• Das Training wird automatisch beendet, wenn die Zielgenauigkeit erreicht ist
• Höhere Genauigkeitsprozentsätze weisen auf eine bessere Modellleistung hin
• Wenn die Genauigkeit stagniert, benötigen Sie möglicherweise mehr Trainingsdaten

6.4 Trainingsergebnisse bewerten

1. Wenn das Training abgeschlossen ist, überprüfen Sie die finale Genauigkeit
2. Klicken Sie auf "Live Preview", um Segmentierungsergebnisse in Echtzeit zu sehen
3. Testen Sie mit neuen Proben, um die Modellleistung zu überprüfen

Erfolgsindikatoren:

• Bleistiftmarkierungen werden in der von Ihnen gewählten Farbe hervorgehoben
• Saubere Bereiche bleiben unmarkiert
• Die Erkennung ist über verschiedene Markierungstypen hinweg konsistent
• Das Modell reagiert gut auf neue, unbekannte Proben

Schritt 7: Pass/Fail-Logik konfigurieren

7.1 Zum IO-Block navigieren

1. Kehren Sie zum Recipe Editor zurück und klicken Sie auf "Configure I/O" oder wählen Sie "IO Block" aus dem Breadcrumb-Menü

7.2 Node-RED Flow einrichten

1. Löschen Sie den bestehenden Classification Block Logic-Node
2. Ziehen Sie aus der linken Palette:
   • All Block Outputs-Node (falls nicht bereits vorhanden)
   • Function-Node
   • Final Pass/Fail-Node
3. Verbinden Sie die Nodes: All Block Outputs → Function → Final Pass/Fail

7.3 Pass/Fail-Logik konfigurieren

Doppelklicken Sie auf den Function-Node und wählen Sie eines dieser Logik-Beispiele:

Option 1: Pass, wenn keine Defekte erkannt werden

// Pass if no pencil marks are found
const allBlobs = msg.payload.segmentation.blobs;
const results = allBlobs.length <1;
msg.payload = results;
return msg;

Option 2: Pass, wenn alle Markierungen klein sind

// Pass if all marks are smaller than threshold
const threshold = 500; // pixels
const allBlobs = msg.payload.segmentation.blobs;
const allUnderThreshold = allBlobs.every(blob => blob.pixel_count < threshold);
msg.payload = allUnderThreshold;
return msg;

Option 3: Pass, wenn die Gesamtabdeckung gering ist

// Pass if total marked area is below threshold
const threshold = 5000; // total pixels
const allBlobs = msg.payload.segmentation.blobs;
const totalArea = allBlobs.reduce((sum, blob) => sum + blob.pixel_count, 0);
msg.payload = totalArea < threshold;
return msg;

7.4 Logik bereitstellen und testen

1. Klicken Sie auf "Done", um die Funktion zu speichern
2. Klicken Sie auf "Deploy", um die Logik zu aktivieren
3. Navigieren Sie zum HMI, um Ihre Pass/Fail-Logik zu testen

Testen Ihrer Logik:

• Testen Sie mit sauberen Blättern (sollte bestehen)
• Testen Sie mit leicht markierten Blättern (sollte je nach Ihren Kriterien bestehen/fehlschlagen)
• Testen Sie mit stark markierten Blättern (sollte fehlschlagen)
• Überprüfen Sie, ob die Ergebnisse Ihren Erwartungen entsprechen

Schritt 8: Optimieren und Validieren

8.1 Mit Produktionsproben testen

1. Führen Sie mehrere Testproben durch Ihre Inspektion
2. Überprüfen Sie, ob die Erkennungsgenauigkeit Ihren Anforderungen entspricht
3. Prüfen Sie, ob die Pass/Fail-Logik korrekt funktioniert
4. Dokumentieren Sie alle Probleme oder Grenzfälle

8.2 Modellleistung feinabstimmen

Wenn die Erkennung inkonsistent ist:

• Fügen Sie weitere Trainingsbilder mit vielfältigen Beispielen hinzu
• Verbessern Sie die Qualität und Konsistenz der Annotationen
• Passen Sie die Bildaufnahmeeinstellungen für besseren Kontrast an
• Trainieren Sie mit zusätzlichen Iterationen neu

Wenn die Pass/Fail-Logik angepasst werden muss:

• Ändern Sie die Schwellenwerte in Ihrer Node-RED-Funktion
• Testen Sie verschiedene Logikansätze
• Berücksichtigen Sie mehrere Kriterien für komplexe Entscheidungen
• Validieren Sie mit Produktionsanforderungen

8.3 Produktionsvalidierung

1. Testen Sie mit echten Produktionsteilen unter realen Bedingungen
2. Validieren Sie mit dem Qualitätsteam, um sicherzustellen, dass die Kriterien den Anforderungen entsprechen
3. Dokumentieren Sie Leistungskennzahlen wie Erkennungsgenauigkeit und Falsch-Positiv-Raten
4. Richten Sie ein Monitoring ein, um die Leistung im Laufe der Zeit zu verfolgen

Schritt 9: Segmentierungsergebnisse verstehen

9.1 Struktur der Segmentierungsdaten

Ihre Segmentierungsergebnisse umfassen:

• Blobs: Einzelne erkannte Merkmale (Bleistiftmarkierungen)
• Pixel Count: Größe jedes erkannten Merkmals
• Location Data: Wo Merkmale gefunden wurden
• Confidence Scores: Wie sicher das Modell bei jeder Erkennung ist

9.2 Verwendung der Segmentierungsdaten

Sie können anspruchsvolle Pass/Fail-Logiken erstellen, basierend auf:

• Anzahl der erkannten Defekte
• Größe einzelner Defekte (Pixel Count)
• Gesamte Defektfläche (Summe aller Pixel Counts)
• Position der Defekte (wo Defekte auftreten)
• Formmerkmale der Defekte (falls für fortgeschrittene Anwendungen erforderlich)

Erfolg! Ihr Segmentierungsmodell ist fertig

Ihre OV80i-Segmentierungsinspektion kann nun:

✅ Bleistiftmarkierungen automatisch erkennen (oder Ihre spezifischen Merkmale) in Bildern

✅ Größe und Anzahl der erkannten Merkmale messen

✅ Pass/Fail-Entscheidungen basierend auf Ihren spezifischen Kriterien treffen

✅ Detaillierte Informationen zu jedem erkannten Merkmal bereitstellen

✅ Sich an Variationen in Markierungsgröße, -form und -position anpassen

Wichtige Erkenntnisse

Segmentierung vs. Klassifizierung:

• Segmentierung findet und misst spezifische Merkmale innerhalb von Bildern
• Klassifizierung identifiziert ganze Objekte oder Gesamtzustände
• Verwenden Sie Segmentierung zur Defekterkennung, Kontaminationsanalyse oder Bedeckungsmessung

Best Practices für das Training:

• Qualitativ hochwertige Annotationen sind wichtiger als Quantität
• Nehmen Sie vielfältige Beispiele in Ihren Trainingsdatensatz auf
• Testen Sie gründlich mit Produktionsmustern
• Überwachen und trainieren Sie bei Bedarf neu

Pass/Fail-Logik:

• Beginnen Sie mit einfachen Kriterien und fügen Sie bei Bedarf Komplexität hinzu
• Testen Sie die Logik mit Grenzfällen und Grenzmustern
• Dokumentieren Sie Ihre Kriterien zur Konsistenz
• Berücksichtigen Sie mehrere Faktoren für robuste Entscheidungen

Nächste Schritte

Nachdem Sie nun Ihr erstes Segmentierungsmodell fertiggestellt haben:

1. Auf andere Anwendungsfälle anwenden – Versuchen Sie, verschiedene Arten von Defekten oder Merkmalen zu erkennen
2. In Produktionssysteme integrieren – Anbindung an PLCs oder Qualitätsmanagementsysteme
3. Datenerfassung einrichten – Verfolgen Sie Leistungsmetriken und Erkennungsstatistiken
4. Bediener schulen – Stellen Sie sicher, dass das Team weiß, wie das System überwacht und gewartet wird
5. Wartung planen – Planen Sie regelmäßige Modellaktualisierungen und Leistungsüberprüfungen

🔗 Siehe auch

• Train a Segmenter
• Classifier vs Segmenter
• Using a Classifier (Single-ROI Example)
• Node-RED Basics
• Overview Node-RED Custom Blocks