Zum Hauptinhalt springen

KI-GESTÜTZTE DOKUMENTATION

Was möchten Sie wissen?

Verwendung des Segmenters

Dieses Tutorial führt Sie durch die Erstellung einer vollständigen Segmentierungsinspektion mithilfe der KI-gestützten Segmentierungsfunktionen des OV20i. Sie lernen, wie Sie bestimmte Merkmale wie Bleistiftmarkierungen, Kratzer oder andere Defekte erkennen und analysieren, indem Sie der Kamera beibringen, diese Merkmale pixelgenau zu identifizieren und zu vermessen.

Video-Anleitung

Sehen Sie dieses Thema in Aktion: So erstellen Sie ein Segmentierungs-Recipe in wenigen Minuten

hinweis

OV10i verfügt nicht über Segmentierungsfunktionen.

Was Sie lernen werden:

  • Wie Sie ein Segmentierungs-Recipe von Anfang bis Ende einrichten
  • Wie Sie ein KI-Modell trainieren, um bestimmte Merkmale zu erkennen
  • Wie Sie die Pass/Fail-Logik basierend auf Segmentierungsergebnissen konfigurieren
  • Wie Sie die Segmentierungsleistung für den Produktionseinsatz optimieren

Praxisanwendung: Dieses Tutorial verwendet die Erkennung von Bleistiftmarkierungen als Beispiel, aber die gleichen Prinzipien gelten für die Erkennung von Kratzern, Rissen, Verunreinigungen oder anderen visuell unterscheidbaren Merkmalen.

Voraussetzungen​

  • OV20i-Kamerasystem eingerichtet und angeschlossen
  • Musterteile mit den zu erkennenden Merkmalen (z. B. Blätter mit Bleistiftmarkierungen)
  • Grundlegendes Verständnis der Konzepte des KI-Trainings
  • Zugriff auf Recipe Editor und Node-RED-Funktionalität

Tutorial-Überblick​

Was wir erstellen werden: Ein Segmentierungsmodell, das Bleistiftmarkierungen auf Papierblättern erkennen und basierend auf der Menge der erkannten Markierungen Pass/Fail bestimmen kann.

Benötigte Zeit: 45-60 Minuten (einschließlich Trainingszeit)

Erlernte Fähigkeiten: KI-Modelltraining, Segmentierungsannotation, Konfiguration der Pass/Fail-Logik

Schritt 1: Ein neues Segmentierungs-Recipe erstellen​

1.1 Ein neues Recipe starten​

  1. Klicken Sie auf der Seite All Recipes oben rechts auf "+ New"
  2. Das Modal "Add A New Recipe" wird angezeigt
  3. Geben Sie einen aussagekräftigen Namen für Ihr Recipe ein (z. B. "Pencil_Mark_Detection")
  4. Wählen Sie im Dropdown-Menü "Recipe Type" die Option "Segmentation" aus
  5. Klicken Sie auf "OK", um das neue Recipe zu erstellen

Warum Segmentierung? Im Gegensatz zur Klassifizierung, die ganze Objekte identifiziert, findet und misst die Segmentierung bestimmte Merkmale innerhalb eines Bildes und ist somit ideal für Defekterkennung, Verunreinigungsanalyse oder zur Messung von Abdeckungsbereichen.

image.png

1.2 Recipe aktivieren und Recipe Editor öffnen​

  1. Ihr neues Recipe wird auf der Seite "All Recipes" als "Inactive" markiert angezeigt
  2. Wählen Sie "Activate" rechts neben dem Recipe aus

Activate button.png

  1. Klicken Sie auf "Activate and go to editor", um zu bestätigen und den Recipe Editor zu starten

Kontrollpunkt: Sie sollten die Recipe Editor-Oberfläche mit dem Namen Ihres Segmentierungs-Recipes im Breadcrumb-Menü sehen.

Schritt 2: Kamerabildgebung konfigurieren​

2.1 Auf Imaging-Einstellungen zugreifen​

  1. Klicken Sie im Recipe Editor unten links auf "Configure Imaging"
  2. Dies öffnet die Imaging-Konfigurationsseite, auf der Sie die Kameraeinstellungen optimieren

image.png

2.2 Fokuseinstellungen optimieren​

  1. Legen Sie ein Musterblatt mit Bleistiftmarkierungen in das Sichtfeld der Kamera
  2. Verwenden Sie den Focus Slider, um eine scharfe Fokussierung auf die Bleistiftmarkierungen zu erreichen
  3. Sie können den Fokuswert auch manuell eingeben, um eine höhere Genauigkeit zu erzielen
  4. Verwenden Sie die Focus View (falls verfügbar), um Kantenhervorhebungen und den Fokus-Score zu sehen

Tipps zur Fokussierung:

  • Fokussieren Sie auf die Oberfläche, auf der Defekte auftreten werden
  • Stellen Sie sicher, dass die Bleistiftmarkierungen scharf und gut definiert erscheinen
  • Ein höherer Fokus-Score weist auf eine bessere Fokusqualität hin

2.3 Belichtungseinstellungen konfigurieren​

  1. Passen Sie den Exposure-Slider an, um die richtige Helligkeit zu erreichen
  2. Die Bleistiftmarkierungen sollten deutlich sichtbar sein, ohne dass das Papier überbelichtet wird
  3. Beginnen Sie mit den automatischen Einstellungen und feinjustieren Sie bei Bedarf
  4. Beobachten Sie die Live-Vorschau, um Änderungen in Echtzeit zu sehen

Belichtungsrichtlinien:

  • Bleistiftmarkierungen sollten einen guten Kontrast zum Papier aufweisen
  • Vermeiden Sie eine Überbelichtung, die feine Markierungen ausbleicht
  • Sorgen Sie für eine gleichmäßige Beleuchtung über den gesamten Inspektionsbereich

2.4 LED-Beleuchtung einrichten​

  1. Wählen Sie das passende LED Light Pattern für Ihre Anwendung
  2. Für Bleistiftmarkierungen funktioniert in der Regel eine gleichmäßige Beleuchtung am besten
  3. Passen Sie die LED Light Intensity an, um Schatten und Blendungen zu minimieren
  4. Testen Sie verschiedene Muster, falls Reflexionen ein Problem darstellen

2.5 Gamma und Kontrast anpassen​

  1. Feinjustieren Sie Gamma, um den Kontrast zwischen Markierungen und Hintergrund zu verbessern
  2. Ein höherer Gamma-Wert kann feine Bleistiftmarkierungen besser sichtbar machen
  3. Ein niedrigerer Gamma-Wert kann Rauschen in sauberen Bereichen reduzieren
  4. Balancieren Sie den Gamma-Wert, um sowohl die Defekterkennung als auch die Klarheit des Hintergrunds zu optimieren

2.6 Bildeinstellungen speichern​

  1. Sobald alle Einstellungen optimiert sind, klicken Sie auf "Save Imaging Settings"
  2. Ihre Kamerakonfiguration ist nun für dieses Rezept gespeichert
  3. Die Live-Vorschau sollte klare, kontrastreiche Bilder anzeigen

Checkpoint: Ihre Kamera sollte klare Bilder erzeugen, bei denen sich Bleistiftmarkierungen deutlich vom Papierhintergrund abheben.

Schritt 3: Template und Alignment konfigurieren​

3.1 Zu Template Image and Alignment navigieren​

  1. Klicken Sie auf den Recipe Name im Breadcrumb-Menü, um zum Recipe Editor zurückzukehren
  2. Wählen Sie "Template Image and Alignment" aus dem Menü

3.2 Aligner für dieses Tutorial überspringen​

  1. Da wir Merkmale auf dem gesamten Blatt erkennen, klicken Sie auf "Skip Aligner"
  2. Dadurch wird die positionsbasierte Ausrichtung deaktiviert und das vollständige Bild verwendet
  3. Klicken Sie auf "Save", um die Änderungen zu übernehmen

Wann der Aligner verwendet werden sollte: Aktivieren Sie den Aligner, wenn Sie Merkmale an bestimmten Stellen auf Teilen erkennen müssen, die sich bewegen oder rotieren können. Bei Inspektionen über das gesamte Blatt, wie z. B. bei Bleistiftmarkierungen, ist das Überspringen des Aligners häufig sinnvoll.

image.png

Schritt 4: Inspektionsbereich einrichten​

4.1 Zum Inspection Setup navigieren​

  1. Kehren Sie zum Recipe Editor zurück und wählen Sie "Inspection Setup"
  2. Hier definieren Sie, welcher Bildbereich analysiert werden soll

4.2 Region of Interest (ROI) konfigurieren​

  1. Sie sehen eine Vorschau des Sichtfelds Ihrer Kamera
  2. Ziehen Sie die Ecken der ROI-Box, um deren Größe und Position anzupassen
  3. Zur Erkennung von Bleistiftmarkierungen sollten Sie typischerweise den gesamten Blattbereich abdecken
  4. Stellen Sie sicher, dass die ROI alle Bereiche umfasst, in denen Bleistiftmarkierungen auftreten könnten

Best Practices für ROI:

  • Schließen Sie alle Bereiche ein, in denen Defekte auftreten könnten
  • Schließen Sie Bereiche wie Kanten oder Hintergründe aus, die nicht analysiert werden sollen
  • Wählen Sie die ROI groß genug, um Variationen in der Teilepositionierung zu erfassen
  • Vermeiden Sie das Einschließen von Texten, Logos oder anderen erwarteten Markierungen

4.3 ROI-Konfiguration speichern​

  1. Sobald Ihr ROI korrekt positioniert ist, klicken Sie auf "Save"
  2. Der Inspektionsbereich ist nun für Ihr Segmentierungsmodell definiert

Schritt 5: Modell labeln und trainieren​

5.1 Zu „Label and Train" navigieren​

  1. Kehren Sie zum Recipe Editor zurück und wählen Sie "Label and Train"
  2. Hier bringen Sie der KI bei, wie Bleistiftmarkierungen aussehen

image.png

5.2 Inspektionsklasse konfigurieren​

  1. Klicken Sie unter Inspection Types auf "Edit"
  2. Benennen Sie die Klasse in "Pencil Mark" um (oder Ihren spezifischen Defekttyp)
  3. Wählen Sie eine markante Farbe zur Visualisierung der erkannten Markierungen
  4. Klicken Sie auf "Save", um die Änderungen zu übernehmen

5.3 Trainingsbilder aufnehmen​

  1. Nehmen Sie mindestens 10 Bilder von Blättern mit unterschiedlichen Bleistiftmarkierungen auf
  2. Variieren Sie die Trainingsbeispiele:
    • Unterschiedliche Größen und Formen der Bleistiftmarkierungen
    • Helle und dunkle Markierungen
    • Verschiedene Positionen auf dem Blatt
    • Unterschiedliche Markierungsdichten

Tipps für Trainingsbilder:

  • Sowohl subtile als auch deutliche Markierungen einbeziehen
  • Verschiedene Lichtverhältnisse erfassen, die im Betrieb auftreten können
  • In jedem Bild auch saubere Bereiche ohne Markierungen einbeziehen
  • Stellen Sie sicher, dass die Bilder die Produktionsbedingungen widerspiegeln

5.4 Trainingsbilder annotieren​

  1. Verwenden Sie für jedes Trainingsbild das Brush-Werkzeug, um die Bleistiftmarkierungen nachzuzeichnen
  2. Malen Sie nur die Bleistiftmarkierungen aus – markieren Sie weder Papier noch andere Merkmale
  3. Annotieren Sie präzise, aber gründlich
  4. Klicken Sie nach jedem Bild auf "Save Annotations"

Best Practices für Annotationen:

  • Seien Sie konsistent darin, was Sie als „Bleistiftmarkierungen" labeln
  • Erfassen Sie vollständige Markierungen, nicht nur Teile davon
  • Labeln Sie keine erwarteten Markierungen wie Text oder Logos
  • Verwenden Sie gleichmäßige, sorgfältige Pinselstriche für genaue Begrenzungen

5.5 Annotationen überprüfen​

  1. Überprüfen Sie alle gelabelten Bilder doppelt, um die Genauigkeit sicherzustellen
  2. Achten Sie auf übersehene Markierungen oder falsch gelabelte Bereiche
  3. Annotieren Sie Bilder neu, die korrigiert werden müssen
  4. Qualitativ hochwertige Annotationen führen zu besserer Modellleistung

Schritt 6: Segmentierungsmodell trainieren​

6.1 Trainingsprozess starten​

  1. Sobald Sie mindestens 10 Bilder gelabelt haben, klicken Sie auf "Return to Live"
  2. Klicken Sie auf "Train Segmentation Model"
  3. Geben Sie die Number of Iterations für das Training ein

Richtlinien für Iterationen:

  • Beginnen Sie mit 100–200 Iterationen für das initiale Training
  • Mehr Iterationen verbessern in der Regel die Genauigkeit, dauern aber länger
  • Überwachen Sie den Trainingsfortschritt und passen Sie ihn bei Bedarf an
  • Wägen Sie Genauigkeitsanforderungen gegen die Trainingsdauer ab

image.png

6.2 Trainingsfortschritt überwachen​

  1. Klicken Sie auf "Start Training", um den Prozess zu starten
  2. Ein Modal mit dem Trainingsfortschritt wird angezeigt:
    • Aktuelle Iterationsnummer
    • Trainingsgenauigkeit in Prozent
    • Geschätzte verbleibende Zeit

6.3 Steuerungsoptionen während des Trainings​

Während des Trainings können Sie:

  • Abort Training – Anhalten, falls Änderungen erforderlich sind
  • Finish Training Early – Beenden, sobald die Genauigkeit ausreicht
  • Monitor Progress – Beobachten, wie sich die Genauigkeit über die Iterationen verbessert

Trainings-Tipps:

  • Das Training wird automatisch beendet, sobald die Zielgenauigkeit erreicht ist
  • Höhere Genauigkeitswerte deuten auf eine bessere Modellleistung hin
  • Wenn die Genauigkeit stagniert, benötigen Sie möglicherweise mehr Trainingsdaten

6.4 Trainingsergebnisse bewerten​

  1. Überprüfen Sie nach Abschluss des Trainings die finale Genauigkeit
  2. Klicken Sie auf "Live Preview", um Segmentierungsergebnisse in Echtzeit anzuzeigen
  3. Testen Sie mit neuen Proben, um die Modellleistung zu verifizieren

Erfolgsindikatoren:

  • Bleistiftspuren werden in der gewählten Farbe hervorgehoben
  • Saubere Bereiche bleiben unmarkiert
  • Die Erkennung ist über verschiedene Markierungstypen hinweg konsistent
  • Das Modell reagiert gut auf neue, ungesehene Proben

Schritt 7: Pass/Fail-Logik konfigurieren​

7.1 Zum IO-Block navigieren​

  1. Kehren Sie zum Recipe Editor zurück und klicken Sie auf "Configure I/O" oder wählen Sie "IO Block" aus dem Breadcrumb-Menü

7.2 Node-RED Flow einrichten​

  1. Löschen Sie den bestehenden Classification Block Logic-Knoten
  2. Ziehen Sie aus der linken Palette folgende Elemente hinein:
    • All Block Outputs-Knoten (falls noch nicht vorhanden)
    • Function-Knoten
    • Final Pass/Fail-Knoten
  3. Verbinden Sie die Knoten: All Block Outputs → Function → Final Pass/Fail

image.png

7.3 Pass/Fail-Logik konfigurieren​

Doppelklicken Sie auf den Function-Knoten und wählen Sie eines dieser Logikbeispiele:

Option 1: Pass, wenn keine Defekte erkannt werden​

// Pass if no pencil marks are found
const allBlobs = msg.payload.segmentation.blobs;
const results = allBlobs.length <1;
msg.payload = results;
return msg;

Option 2: Pass, wenn alle Markierungen klein sind​

// Pass if all marks are smaller than threshold
const threshold = 500; // pixels
const allBlobs = msg.payload.segmentation.blobs;
const allUnderThreshold = allBlobs.every(blob => blob.pixel_count < threshold);
msg.payload = allUnderThreshold;
return msg;

Option 3: Pass, wenn die Gesamtabdeckung gering ist​

// Pass if total marked area is below threshold
const threshold = 5000; // total pixels
const allBlobs = msg.payload.segmentation.blobs;
const totalArea = allBlobs.reduce((sum, blob) => sum + blob.pixel_count, 0);
msg.payload = totalArea < threshold;
return msg;

7.4 Logik bereitstellen und testen​

  1. Klicken Sie auf "Done", um die Funktion zu speichern
  2. Klicken Sie auf "Deploy", um die Logik zu aktivieren
  3. Navigieren Sie zur HMI, um Ihre Pass/Fail-Logik zu testen

Testen Ihrer Logik:

  • Testen Sie mit sauberen Bögen (sollten bestehen)
  • Testen Sie mit leicht markierten Bögen (sollten je nach Kriterium bestehen/fehlschlagen)
  • Testen Sie mit stark markierten Bögen (sollten fehlschlagen)
  • Stellen Sie sicher, dass die Ergebnisse Ihren Erwartungen entsprechen

Schritt 8: Optimieren und Validieren​

8.1 Mit Produktionsproben testen​

  1. Führen Sie mehrere Testproben durch Ihre Inspektion
  2. Stellen Sie sicher, dass die Erkennungsgenauigkeit Ihren Anforderungen entspricht
  3. Überprüfen Sie, ob die Pass/Fail-Logik korrekt funktioniert
  4. Dokumentieren Sie alle Probleme oder Grenzfälle

8.2 Modellleistung feinabstimmen​

Wenn die Erkennung inkonsistent ist:

  • Fügen Sie weitere Trainingsbilder mit unterschiedlichen Beispielen hinzu
  • Verbessern Sie die Qualität und Konsistenz der Annotationen
  • Passen Sie die Bildgebungseinstellungen für besseren Kontrast an
  • Trainieren Sie mit zusätzlichen Iterationen erneut

Wenn die Pass/Fail-Logik angepasst werden muss:

  • Ändern Sie die Schwellenwerte in Ihrer Node-RED-Funktion
  • Testen Sie verschiedene Logikansätze
  • Berücksichtigen Sie mehrere Kriterien für komplexe Entscheidungen
  • Validieren Sie mit den Produktionsanforderungen

8.3 Produktionsvalidierung​

  1. Testen Sie mit echten Produktionsteilen unter realen Bedingungen
  2. Validieren Sie mit dem Qualitätsteam, um sicherzustellen, dass die Kriterien den Anforderungen entsprechen
  3. Dokumentieren Sie Leistungskennzahlen wie Erkennungsgenauigkeit und Falsch-Positiv-Raten
  4. Richten Sie ein Monitoring ein, um die Leistung über die Zeit zu verfolgen

Schritt 9: Segmentierungsergebnisse verstehen​

9.1 Datenstruktur der Segmentierung​

Ihre Segmentierungsergebnisse umfassen:

  • Blobs: Einzeln erkannte Merkmale (Bleistiftmarkierungen)
  • Pixel Count: Größe jedes erkannten Merkmals
  • Standortdaten: Wo Merkmale gefunden wurden
  • Konfidenzwerte: Wie sicher das Modell bei jeder Erkennung ist

9.2 Verwendung der Segmentierungsdaten​

Sie können differenzierte Pass/Fail-Logik basierend auf folgenden Kriterien erstellen:

  • Anzahl der erkannten Defekte
  • Größe einzelner Defekte (Pixelanzahl)
  • Gesamte Defektfläche (Summe aller Pixelanzahlen)
  • Defektposition (wo Defekte auftreten)
  • Formmerkmale der Defekte (bei Bedarf für fortgeschrittene Anwendungen)

Erfolg! Ihr Segmentierungsmodell ist fertiggestellt​

Ihre OV20i-Segmentierungsinspektion kann jetzt:

✅ Bleistiftmarkierungen (oder Ihre spezifischen Merkmale) automatisch in Bildern erkennen

✅ Größe und Anzahl der erkannten Merkmale messen

✅ Pass/Fail-Entscheidungen basierend auf Ihren spezifischen Kriterien treffen

✅ Detaillierte Informationen zu jedem erkannten Merkmal bereitstellen

✅ Sich an Variationen in Größe, Form und Position der Markierungen anpassen

Wichtige Erkenntnisse​

Segmentierung vs. Klassifizierung:

  • Segmentierung findet und misst spezifische Merkmale innerhalb von Bildern
  • Klassifizierung identifiziert ganze Objekte oder Gesamtzustände
  • Verwenden Sie Segmentierung für Defekterkennung, Kontaminationsanalyse oder Abdeckungsmessung

Best Practices für das Training:

  • Qualität der Annotationen ist wichtiger als Quantität
  • Verschiedene Beispiele im Trainingsdatensatz einbeziehen
  • Gründlich mit Produktionsmustern testen
  • Bei Bedarf überwachen und neu trainieren

Pass/Fail-Logik:

  • Mit einfachen Kriterien beginnen und bei Bedarf Komplexität hinzufügen
  • Logik mit Grenzfällen und Randmustern testen
  • Kriterien zur Konsistenz dokumentieren
  • Mehrere Faktoren für robuste Entscheidungen berücksichtigen

Nächste Schritte​

Nachdem Sie Ihr erstes Segmentierungsmodell fertiggestellt haben:

  1. Auf andere Anwendungsfälle anwenden – Versuchen Sie, verschiedene Arten von Defekten oder Merkmalen zu erkennen
  2. In Produktionssysteme integrieren – Verbinden Sie sich mit PLCs oder Qualitätsmanagementsystemen
  3. Datenerfassung einrichten – Leistungskennzahlen und Erkennungsstatistiken verfolgen
  4. Bediener schulen – Stellen Sie sicher, dass das Team versteht, wie das System überwacht und gewartet wird
  5. Wartung planen – Regelmäßige Modellaktualisierungen und Leistungsüberprüfungen einplanen

🔗 Siehe auch​