Verwendung des Segmenters

Dieses Tutorial führt Sie durch die Erstellung einer vollständigen Segmentierungsinspektion mit den KI-gestützten Segmentierungsfunktionen des OV80i. Sie lernen, wie Sie spezifische Merkmale wie Bleistiftmarkierungen, Kratzer oder andere Defekte erkennen und analysieren, indem Sie die Kamera darauf trainieren, diese Merkmale Pixel für Pixel zu identifizieren und zu vermessen.

Video-Anleitung

Sehen Sie dieses Thema in Aktion: Wie Sie in wenigen Minuten ein Segmentierungsrezept erstellen

Was Sie lernen werden:

• Wie Sie ein Segmentierungsrezept von Anfang bis Ende einrichten
• Wie Sie ein KI-Modell trainieren, um spezifische Merkmale zu erkennen
• Wie Sie Pass/Fail-Logik basierend auf Segmentierungsergebnissen konfigurieren
• Wie Sie die Segmentierungsleistung für den Produktionseinsatz optimieren

Praxisanwendung: Dieses Tutorial verwendet die Erkennung von Bleistiftmarkierungen als Beispiel, aber dieselben Prinzipien gelten für die Erkennung von Kratzern, Rissen, Verunreinigungen oder anderen visuell unterscheidbaren Merkmalen.

Voraussetzungen

• OV80i-Kamerasystem eingerichtet und verbunden
• Musterteile mit den Merkmalen, die Sie erkennen möchten (z. B. Blätter mit Bleistiftmarkierungen)
• Grundlegendes Verständnis von KI-Trainingskonzepten
• Zugriff auf Recipe Editor und Node-RED-Funktionalität

Tutorial-Übersicht

Was wir erstellen: Ein Segmentierungsmodell, das Bleistiftmarkierungen auf Papierblättern erkennen und basierend auf der erkannten Markierungsmenge Pass/Fail bestimmen kann.

Zeitaufwand: 45-60 Minuten (einschließlich Trainingszeit)

Erlernte Fähigkeiten: KI-Modelltraining, Segmentierungsannotation, Konfiguration der Pass/Fail-Logik

Schritt 1: Ein neues Segmentierungsrezept erstellen

1.1 Ein neues Rezept starten

1. Klicken Sie auf der Seite All Recipes oben rechts auf "+ New"
2. Das Modal „Add A New Recipe" wird angezeigt
3. Geben Sie einen aussagekräftigen Name für Ihr Rezept ein (z. B. „Pencil_Mark_Detection")
4. Wählen Sie "Segmentation" aus dem Dropdown-Menü „Recipe Type"
5. Klicken Sie auf "OK", um das neue Rezept zu erstellen

Warum Segmentierung? Im Gegensatz zur Klassifizierung, die ganze Objekte identifiziert, findet und vermisst die Segmentierung spezifische Merkmale innerhalb eines Bildes – ideal für Defekterkennung, Verunreinigungsanalyse oder die Messung von Abdeckungsflächen.

1.2 Rezept aktivieren und Recipe Editor öffnen

1. Ihr neues Rezept erscheint auf der Seite „All Recipes" mit der Kennzeichnung "Inactive"
2. Wählen Sie "Activate" rechts neben dem Rezept

3. Klicken Sie auf "Activate and go to editor", um zu bestätigen und den Recipe Editor zu öffnen

Checkpoint: Sie sollten die Recipe Editor-Oberfläche mit dem Namen Ihres Segmentierungsrezepts im Breadcrumb-Menü sehen.

Schritt 2: Kamera-Bildaufnahme konfigurieren

2.1 Bildaufnahme-Einstellungen aufrufen

1. Klicken Sie im Recipe Editor unten links auf "Configure Imaging"
2. Dies öffnet die Bildaufnahme-Konfigurationsseite, auf der Sie die Kameraeinstellungen optimieren

2.2 Fokuseinstellungen optimieren

1. Platzieren Sie ein Musterblatt mit Bleistiftmarkierungen im Sichtfeld der Kamera
2. Verwenden Sie den Focus-Schieberegler, um die Bleistiftmarkierungen scharf zu stellen
3. Sie können den Fokuswert auch manuell zur Präzisionseinstellung eingeben
4. Verwenden Sie Focus View (falls verfügbar), um Kantenhervorhebung und Fokuswert anzuzeigen

Fokus-Tipps:

• Fokussieren Sie auf die Oberfläche, auf der Defekte auftreten werden
• Stellen Sie sicher, dass Bleistiftmarkierungen scharf und gut definiert erscheinen
• Ein höherer Fokuswert deutet auf eine bessere Fokusqualität hin

2.3 Belichtungseinstellungen konfigurieren

1. Stellen Sie den Exposure-Schieberegler ein, um die richtige Helligkeit zu erzielen
2. Bleistiftmarkierungen sollten deutlich sichtbar sein, ohne das Papier zu überbelichten
3. Beginnen Sie mit den automatischen Einstellungen und passen Sie diese bei Bedarf an
4. Beobachten Sie die Live-Vorschau, um Änderungen in Echtzeit zu sehen

Belichtungsrichtlinien:

• Bleistiftmarkierungen sollten einen guten Kontrast zum Papier aufweisen
• Vermeiden Sie Überbelichtung, die subtile Markierungen ausbleicht
• Sorgen Sie für eine gleichmäßige Beleuchtung im gesamten Inspektionsbereich

2.4 LED-Beleuchtung einrichten

1. Wählen Sie ein geeignetes LED Light Pattern für Ihre Anwendung
2. Für Bleistiftmarkierungen funktioniert in der Regel eine gleichmäßige Beleuchtung am besten
3. Passen Sie die LED Light Intensity an, um Schatten und Reflexionen zu minimieren
4. Testen Sie verschiedene Muster, falls Reflexionen ein Problem darstellen

2.5 Gamma und Kontrast anpassen

1. Stellen Sie Gamma fein ein, um den Kontrast zwischen Markierungen und Hintergrund zu verbessern
2. Ein höherer Gamma-Wert kann subtile Bleistiftmarkierungen besser sichtbar machen
3. Ein niedrigerer Gamma-Wert kann das Rauschen in sauberen Bereichen reduzieren
4. Balancieren Sie Gamma aus, um sowohl die Sichtbarkeit von Defekten als auch die Klarheit des Hintergrunds zu optimieren

2.6 Bildgebungseinstellungen speichern

1. Sobald alle Einstellungen optimiert sind, klicken Sie auf "Save Imaging Settings"
2. Ihre Kamerakonfiguration ist nun für dieses Recipe gespeichert
3. Die Live-Vorschau sollte klare, kontrastreiche Bilder anzeigen

Checkpoint: Ihre Kamera sollte klare Bilder erzeugen, bei denen Bleistiftmarkierungen leicht vom Papierhintergrund zu unterscheiden sind.

Schritt 3: Template und Ausrichtung konfigurieren

3.1 Zu Template Image and Alignment navigieren

1. Klicken Sie auf den Recipe Name im Breadcrumb-Menü, um zum Recipe Editor zurückzukehren
2. Wählen Sie "Template Image and Alignment" aus dem Menü

3.2 Aligner für dieses Tutorial überspringen

1. Da wir Merkmale auf dem gesamten Blatt erkennen, klicken Sie auf "Skip Aligner"
2. Dadurch wird die positionsbasierte Ausrichtung deaktiviert und das gesamte Bild verwendet
3. Klicken Sie auf "Save", um die Änderungen zu übernehmen

Wann der Aligner verwendet wird: Aktivieren Sie den Aligner, wenn Sie Merkmale an bestimmten Stellen auf Teilen erkennen müssen, die sich bewegen oder drehen können. Für eine Inspektion des gesamten Blattes wie bei Bleistiftmarkierungen ist das Überspringen des Aligners häufig angemessen.

Schritt 4: Inspektionsbereich einrichten

4.1 Zu Inspection Setup navigieren

1. Kehren Sie zum Recipe Editor zurück und wählen Sie "Inspection Setup"
2. Hier definieren Sie, welcher Bildbereich analysiert werden soll

4.2 Region of Interest (ROI) konfigurieren

1. Sie sehen eine Vorschau des Sichtfelds Ihrer Kamera
2. Ziehen Sie die Ecken des ROI-Rahmens, um Größe und Position anzupassen
3. Für die Erkennung von Bleistiftmarkierungen sollte typischerweise der gesamte Blattbereich abgedeckt werden
4. Stellen Sie sicher, dass die ROI alle Bereiche umfasst, in denen Bleistiftmarkierungen erscheinen könnten

Best Practices für ROI:

• Schließen Sie alle Bereiche ein, in denen Defekte auftreten könnten
• Schließen Sie Bereiche wie Kanten oder Hintergründe aus, die nicht analysiert werden sollen
• Wählen Sie die ROI groß genug, um Variationen in der Teilepositionierung zu erfassen
• Vermeiden Sie das Einbeziehen von Text, Logos oder anderen erwarteten Markierungen

4.3 ROI-Konfiguration speichern

1. Sobald Ihre ROI korrekt positioniert ist, klicken Sie auf "Save"
2. Der Inspektionsbereich ist nun für Ihr Segmentierungsmodell definiert

Schritt 5: Modell labeln und trainieren

5.1 Zu "Label and Train" navigieren

1. Kehren Sie zum Recipe Editor zurück und wählen Sie "Label and Train"
2. Hier bringen Sie der KI bei, wie Bleistiftmarkierungen aussehen

5.2 Inspektionsklasse konfigurieren

1. Klicken Sie unter Inspection Types auf "Edit"
2. Benennen Sie die Klasse in "Pencil Mark" um (oder Ihren spezifischen Fehlertyp)
3. Wählen Sie eine markante Farbe zur Visualisierung erkannter Markierungen
4. Klicken Sie auf "Save", um die Änderungen zu übernehmen

5.3 Trainingsbilder aufnehmen

1. Nehmen Sie mindestens 10 Bilder von Blättern mit unterschiedlichen Bleistiftmarkierungen auf
2. Variieren Sie die Trainingsbeispiele:
   • Unterschiedliche Größen und Formen der Bleistiftmarkierungen
   • Helle und dunkle Markierungen
   • Verschiedene Positionen auf dem Blatt
   • Unterschiedliche Markierungsdichten

Tipps für Trainingsbilder:

• Berücksichtigen Sie sowohl feine als auch deutliche Markierungen
• Erfassen Sie verschiedene Lichtbedingungen, die in der Praxis auftreten
• Beziehen Sie in jedem Bild auch saubere Bereiche ohne Markierungen ein
• Stellen Sie sicher, dass die Bilder die Produktionsbedingungen widerspiegeln

5.4 Trainingsbilder annotieren

1. Verwenden Sie für jedes Trainingsbild das Brush-Werkzeug, um die Bleistiftmarkierungen nachzuzeichnen
2. Markieren Sie nur die Bleistiftspuren – vermeiden Sie es, Papier oder andere Merkmale zu markieren
3. Seien Sie präzise und gründlich bei Ihren Annotationen
4. Klicken Sie nach Abschluss jedes Bildes auf "Save Annotations"

Best Practices für Annotationen:

• Bleiben Sie konsistent bei dem, was Sie als "Bleistiftmarkierungen" kennzeichnen
• Erfassen Sie vollständige Markierungen, nicht nur Teile davon
• Markieren Sie keine erwarteten Elemente wie Text oder Logos
• Verwenden Sie gleichmäßige, sorgfältige Pinselstriche für präzise Begrenzungen

5.5 Annotationen überprüfen

1. Überprüfen Sie alle gelabelten Bilder sorgfältig auf Genauigkeit
2. Achten Sie auf übersehene Markierungen oder falsch gekennzeichnete Bereiche
3. Annotieren Sie Bilder erneut, die korrigiert werden müssen
4. Hochwertige Annotationen führen zu einer besseren Modellleistung

Schritt 6: Das Segmentation Model trainieren

6.1 Trainingsprozess starten

1. Sobald Sie mindestens 10 Bilder gelabelt haben, klicken Sie auf "Return to Live"
2. Klicken Sie auf "Train Segmentation Model"
3. Geben Sie die Number of Iterations für das Training ein

Richtlinien für Iterationen:

• Beginnen Sie mit 100–200 Iterationen für das initiale Training
• Mehr Iterationen verbessern in der Regel die Genauigkeit, dauern aber länger
• Überwachen Sie den Trainingsfortschritt und passen Sie ihn bei Bedarf an
• Finden Sie die Balance zwischen Genauigkeitsanforderungen und Trainingszeit

6.2 Trainingsfortschritt überwachen

1. Klicken Sie auf "Start Training", um den Prozess zu starten
2. Ein Trainingsfortschritts-Dialog erscheint und zeigt:
   • Aktuelle Iterationsnummer
   • Trainingsgenauigkeit in Prozent
   • Geschätzte verbleibende Zeit

6.3 Optionen zur Trainingssteuerung

Während des Trainings können Sie:

• Abort Training – Stoppen, falls Sie Änderungen vornehmen müssen
• Finish Training Early – Stoppen, wenn die Genauigkeit ausreicht
• Monitor Progress – Beobachten, wie sich die Genauigkeit über die Iterationen verbessert

Trainingstipps:

• Das Training endet automatisch, wenn die Zielgenauigkeit erreicht ist
• Höhere Genauigkeitswerte deuten auf eine bessere Modellleistung hin
• Wenn die Genauigkeit stagniert, benötigen Sie möglicherweise mehr Trainingsdaten

6.4 Trainingsergebnisse auswerten

1. Überprüfen Sie nach Abschluss des Trainings die endgültige Genauigkeit
2. Klicken Sie auf "Live Preview", um Segmentierungsergebnisse in Echtzeit zu sehen
3. Testen Sie mit neuen Proben, um die Modellleistung zu überprüfen

Erfolgsindikatoren:

• Bleistiftmarkierungen werden in der von Ihnen gewählten Farbe hervorgehoben
• Saubere Bereiche bleiben unmarkiert
• Erkennung ist über verschiedene Markierungstypen hinweg konsistent
• Modell reagiert gut auf neue, unbekannte Proben

Schritt 7: Pass/Fail-Logik konfigurieren

7.1 Zum IO Block navigieren

1. Kehren Sie zum Recipe Editor zurück und klicken Sie auf "Configure I/O" oder wählen Sie "IO Block" aus dem Breadcrumb-Menü

7.2 Node-RED Flow einrichten

1. Löschen Sie den vorhandenen Knoten "Classification Block Logic"
2. Ziehen Sie aus der linken Palette folgende Knoten hinein:
   • All Block Outputs-Knoten (falls nicht bereits vorhanden)
   • Function-Knoten
   • Final Pass/Fail-Knoten
3. Verbinden Sie die Knoten: All Block Outputs → Function → Final Pass/Fail

7.3 Pass/Fail-Logik konfigurieren

Doppelklicken Sie auf den Function-Knoten und wählen Sie eines dieser Logikbeispiele:

Option 1: Pass, wenn keine Defekte erkannt werden

// Pass if no pencil marks are found
const allBlobs = msg.payload.segmentation.blobs;
const results = allBlobs.length <1;
msg.payload = results;
return msg;

Option 2: Pass, wenn alle Markierungen klein sind

// Pass if all marks are smaller than threshold
const threshold = 500; // pixels
const allBlobs = msg.payload.segmentation.blobs;
const allUnderThreshold = allBlobs.every(blob => blob.pixel_count < threshold);
msg.payload = allUnderThreshold;
return msg;

Option 3: Pass, wenn die Gesamtabdeckung gering ist

// Pass if total marked area is below threshold
const threshold = 5000; // total pixels
const allBlobs = msg.payload.segmentation.blobs;
const totalArea = allBlobs.reduce((sum, blob) => sum + blob.pixel_count, 0);
msg.payload = totalArea < threshold;
return msg;

7.4 Logik bereitstellen und testen

1. Klicken Sie auf "Done", um die Funktion zu speichern
2. Klicken Sie auf "Deploy", um die Logik zu aktivieren
3. Navigieren Sie zu HMI, um Ihre Pass/Fail-Logik zu testen

Testen Ihrer Logik:

• Test mit sauberen Blättern (sollte bestehen)
• Test mit leicht markierten Blättern (sollte je nach Ihren Kriterien bestehen/durchfallen)
• Test mit stark markierten Blättern (sollte durchfallen)
• Überprüfen Sie, ob die Ergebnisse Ihren Erwartungen entsprechen

Schritt 8: Optimieren und validieren

8.1 Test mit Produktionsproben

1. Führen Sie mehrere Testproben durch Ihre Inspektion
2. Überprüfen Sie, ob die Erkennungsgenauigkeit Ihren Anforderungen entspricht
3. Prüfen Sie, ob die Pass/Fail-Logik korrekt funktioniert
4. Dokumentieren Sie alle Probleme oder Grenzfälle

8.2 Modellleistung feinabstimmen

Wenn die Erkennung inkonsistent ist:

• Fügen Sie weitere Trainingsbilder mit variierten Beispielen hinzu
• Verbessern Sie die Qualität und Konsistenz der Annotationen
• Passen Sie die Bildaufnahmeeinstellungen für besseren Kontrast an
• Trainieren Sie mit zusätzlichen Iterationen erneut

Wenn die Pass/Fail-Logik angepasst werden muss:

• Ändern Sie die Schwellenwerte in Ihrer Node-RED-Funktion
• Testen Sie verschiedene Logikansätze
• Berücksichtigen Sie mehrere Kriterien für komplexe Entscheidungen
• Validieren Sie mit den Produktionsanforderungen

8.3 Produktionsvalidierung

1. Test mit echten Produktionsteilen unter realen Bedingungen
2. Validierung mit dem Qualitätsteam, um sicherzustellen, dass die Kriterien den Anforderungen entsprechen
3. Leistungskennzahlen dokumentieren wie Erkennungsgenauigkeit und Falsch-Positiv-Raten
4. Monitoring einrichten, um die Leistung über einen längeren Zeitraum zu verfolgen

Schritt 9: Segmentierungsergebnisse verstehen

9.1 Datenstruktur der Segmentierung

Ihre Segmentierungsergebnisse umfassen:

• Blobs: Einzelne erkannte Merkmale (Bleistiftmarkierungen)
• Pixel Count: Größe jedes erkannten Merkmals
• Location Data: Wo Merkmale gefunden wurden
• Confidence Scores: Wie sicher das Modell bei jeder Erkennung ist

9.2 Verwendung von Segmentierungsdaten

Sie können eine ausgefeilte Pass/Fail-Logik erstellen, basierend auf:

• Anzahl der erkannten Defekte
• Größe einzelner Defekte (Pixel Count)
• Gesamte Defektfläche (Summe aller Pixel Counts)
• Defektposition (wo Defekte erscheinen)
• Eigenschaften der Defektform (falls für fortgeschrittene Anwendungen erforderlich)

Erfolg! Ihr Segmentierungsmodell ist vollständig

Ihre OV80i-Segmentierungsinspektion kann jetzt:

✅ Automatisch Bleistiftmarkierungen erkennen (oder Ihre spezifischen Merkmale) in Bildern

✅ Größe und Menge messen der erkannten Merkmale

✅ Pass/Fail-Entscheidungen treffen basierend auf Ihren spezifischen Kriterien

✅ Detaillierte Informationen bereitstellen zu jedem erkannten Merkmal

✅ An Variationen anpassen in Markierungsgröße, -form und -position

Wichtigste Erkenntnisse

Segmentierung vs. Klassifizierung:

• Segmentierung findet und misst spezifische Merkmale in Bildern
• Klassifizierung identifiziert ganze Objekte oder Gesamtzustände
• Verwenden Sie Segmentierung für Defekterkennung, Verunreinigungsanalyse oder Abdeckungsmessung

Best Practices für das Training:

• Qualität der Annotationen ist wichtiger als Quantität
• Beziehen Sie vielfältige Beispiele in Ihr Trainingsset ein
• Testen Sie gründlich mit Produktionsmustern
• Überwachen und trainieren Sie bei Bedarf neu

Pass/Fail-Logik:

• Beginnen Sie mit einfachen Kriterien und erhöhen Sie die Komplexität nach Bedarf
• Testen Sie die Logik mit Grenzfällen und grenzwertigen Mustern
• Dokumentieren Sie Ihre Kriterien zur Konsistenz
• Berücksichtigen Sie mehrere Faktoren für robuste Entscheidungen

Nächste Schritte

Nachdem Sie nun Ihr erstes Segmentierungsmodell fertiggestellt haben:

1. Auf andere Anwendungsfälle anwenden – Versuchen Sie, verschiedene Arten von Defekten oder Merkmalen zu erkennen
2. In Produktionssysteme integrieren – Verbinden Sie das System mit PLCs oder Qualitätsmanagementsystemen
3. Datenerfassung einrichten – Verfolgen Sie Leistungskennzahlen und Erkennungsstatistiken
4. Bediener schulen – Stellen Sie sicher, dass das Team weiß, wie das System überwacht und gewartet wird
5. Wartung planen – Planen Sie regelmäßige Modellaktualisierungen und Leistungsüberprüfungen

🔗 Siehe auch

• Train a Segmenter
• Classifier vs Segmenter
• Using a Classifier (Single-ROI Example)
• Node-RED Basics
• Overview Node-RED Custom Blocks