跳到主要内容

AI 驱动文档

您想了解什么？

首次配方创建

本深度讲解将说明什么是 Recipe（配方），概述 Classification 与 Segmentation（分类与分割）之间的差异，以及提供创建 Recipe 的逐步指南。它还包括对 Imaging Setup（成像设置）配置的详细演练、模板图像捕获与 Aligner（对齐器）设置、ROI（Region of Interest）优化、用于 AI 训练的数据收集，以及图像增强配置的详细说明。

视频指南

在实际操作中查看本主题： 如何在几分钟内创建一个分割配方

学习目标​

在本次深度讲解结束时，您将理解：

  • 什么是配方（Recipe）
  • 分类（Classification）与分割（Segmentation）之差，以及何时使用它们
  • 如何创建配方
  • 如何配置 Imaging Setup（成像设置）
  • 如何捕获模板图像并配置 Aligner（对齐器）
  • ROI（Region of Interest）是什么以及如何优化
  • 用于 AI 训练的数据收集
  • 配方的测试与验证

什么是配方？（What is a Recipe？）​

  • A configured set of instructions that tells the camera how to inspect a specific part or product.
    • 一组经过配置的指令，告知相机如何对特定部件或产品进行检验。
  • Defines camera settings, including exposure, focus, and lighting parameters for consistent image capture.
    • 定义相机设置，包括曝光、对焦和照明参数，以实现一致的图像捕获。
  • Includes processing logic such as ROI definitions, Aligner, classification, or segmentation classes.
    • 包含处理逻辑，例如 ROI（Region of Interest）定义、Aligner（对齐器）、分类或分割类别。
  • Stores input/output configurations to integrate with automation systems for pass/fail or advanced signals.
    • 存储输入/输出配置，以与自动化系统集成，用于通过/不通过或发送高级信号。
  • Can be saved and reused to ensure consistent inspections across shifts, lines, or facilities.
    • 可以被保存并重复使用，以确保在不同班次、生产线或工厂之间保持一致的检验。

分类 vs. 分割​

定义​

  • Classification：在 ROI 中识别对象的类型
  • Segmentation：在图像/ROI 中定位并分析区域

示例​

图像分类图像分割图像分类图像分割
什么是绵羊？哪些像素属于哪一个对象？这张披萨合格吗？其中每一片 pepperoni 在哪里？
绵羊已分类绵羊已分割披萨已分类披萨已分割

关键对比​

分类分割
速度速度取决于 Imaging Setup（成像设置）与复杂度。通常在简单设置下高效且快速在优化时，分割可以与分类同样快，甚至更快，特别是在使用简化模型时
准确性适用于整体的通过/不通过或部件类型识别对于精确缺陷定位具有更高的准确性
复杂性设置和维护简单；参数较少复杂度较高—需要更多数据、标注和调参
数据需求低—需要较少标注图像中等—需要大量具有像素级精确标注的图像
用例部件存在、方向、基础质量检查、部件已插入/未插入等表面缺陷、细微特征检测、多缺陷检测、计数、测量等

创建并导出配方​

使用位于配方旁边的 Export Recipe 按钮导出单个配方。

导出配方按钮

在屏幕顶部使用 Export 按钮一次导出多个配方。

导出多个配方按钮

在屏幕顶部使用 Import 按钮导入配方。

导入配方按钮

备注

请记住： 每个配方在同一时刻仅支持一种检查类型（分割 segmentation 或 classification）。开始设置前，请选择正确的类型。

成像设置​

对焦​

成像设置中的对焦设置

  • 作用： 调整所捕获图像的清晰度。
  • 使用方法： 将滑块拖动，直到图像中的边缘和细节看起来清晰锐利。
提示

对焦时，请使用边缘清晰的目标对象（例如尺子或标定卡）。

图像旋转​

成像设置中的图像旋转设置

  • 作用： 将图像旋转为 0° 或 180°。
  • 使用场景： 如果相机安装成倾斜角度，但希望在界面中以相反的方向显示图像。
备注

若需要将图像旋转 90°，请旋转相机。

曝光（ms）​

成像设置中的曝光设置

  • 作用： 在图像捕获期间，传感器暴露于光线的时间。
  • 效果：
    • 曝光时间越长 → 图像更亮，但存在运动模糊的风险。
    • 曝光时间越短 → 光线越少，但在快速移动的应用中图像更清晰。
曝光不足正确曝光过曝
曝光不足示例正确曝光示例过曝示例
提示

曝光是对数的，曝光越高意味着延迟越高（因为图像捕获需要更长时间）。

增益​

成像设置中的增益设置

  • 作用： 以数字方式提高图像亮度（类似相机上的 ISO）。
  • 效果：
    • 增益越高 → 图像越亮，但会增加噪声（颗粒感）。
    • 增益越低 → 图像更干净，但需要良好的照明。
高增益低增益
高增益示例低增益示例
更亮且带有噪声更暗且噪声更少
提示

只有在无法调整曝光或照明时才增加增益。

自动白平衡​

成像设置中的自动白平衡设置

  • 作用： 自动调整色彩平衡，使白色看起来仍然是白色。
  • 使用场景：
    • 理想用于 光照条件可变或波动的环境。
    • 对于 稳定的设置，手动白平衡可以提供更 一致且可重复的结果。
备注

要手动调整白平衡：

  • 将 ON 的 Auto White Balance 开关切换到开启。

  • 将一张 白纸 放在相机下方或镜头前。

  • 将开关 OFF 以锁定白平衡设置。

伽玛​

成像设置中的伽玛设置

  • 是什么： 调整中间调亮度，同时尽量不影响暗部或亮部。
  • 效果： 有助于揭示阴影处的细节，或降低过强的高光。

镜头畸变校正​

成像设置中的镜头畸变校正设置

  • 是什么： 校正广角镜头造成的畸变。
  • 何时启用： 如图像边缘看起来弯曲或失真时，开启以提高对齐任务的准确性。

LED 闪光模式​

成像设置中的 LED 闪光模式设置

  • 是什么： 控制相机内置 LED 灯的触发时机。
  • 选项：
    • Off: LED 将持续开启。
    • On: LED 仅在捕捉时闪烁，减少反射。

LED 光照模式​

成像设置中的 LED 光照模式设置

  • 是什么： 选择 LED 的照明方式（如 All on、All off、Left and right、Top and bottom 等）。
  • 使用场景： 根据您的照明设置进行调整，以获得最佳零件照明。
提示

通过使用方向性模式，在关闭直接照射到反光表面的 LED 的同时，保持成角度的光源以获得更好的可见性，从而降低眩光或反射。

LED 光强度​

成像设置中的 LED 光强度设置

  • 是什么： 调整 LED 照明的亮度。
  • 最佳实践： 从低亮度开始，逐步增加以避免眩光或反射。

光度控制​

成像设置中的光度控制设置

  • 是什么： 捕捉 多张图像（通常四张）使用不同方向的照明（左、右、上、下），然后 将它们合成为一张增强图像。
  • 目的： 通过在部件上提供均匀、一致的照明，减少阴影并凸显微妙的表面特征。
  • 何时使用： 适用于复杂部件、高反光表面，或纹理不均匀的部件，在单光照成像可能错过关键细节的情况下尤为合适。

触发设置​

成像设置中的触发设置

手动触发

  • 是什么： 在 HMI 屏幕上按按钮时捕捉图像。
  • 最佳用途： 测试、设置或人工检查。

硬件触发

  • 是什么： 使用电信号（例如来自传感器）来触发相机。
  • 最佳用途： 在传感器检测到零件存在的自动化生产线中。

PLC 触发

  • 是什么： 触发信号通过工业控制器（PLCs）传输，以与其他设备同步运行。
  • 最佳用途： 需要精确时序的全自动化系统。

对齐器触发

  • 是什么： 当系统在视场内检测到零件对齐时自动触发。
  • 最佳用途： 在捕捉前需要零件保持一致定位的应用，或没有其他可靠触发信号时。

间隔触发

  • 是什么： 按设定时间间隔触发相机。
  • 最佳用途： 适用于连续过程，或在没有零件检测传感器的情况下监控移动的生产线。

模板图像与对齐​

跳过对齐器​

模板图像与对齐中的 Skip Aligner 设置

  • 作用： 在检测过程中关闭对齐步骤。
  • 使用场景： 如果部件在图像中始终处于相同的位置和方向。

模板区域​

模板图像与对齐中的 Template Regions 设置

  • 是什么： 定义用于对齐的模板图像区域。
    • Rectangle: 绘制一个矩形 ROI。
    • Circle: 绘制一个圆形 ROI。
    • Ignore Template Region: 从对齐中排除某些区域，以避免干扰图案或无关特征。
  • 最佳用途： 帮助系统仅聚焦最具辨识度的部件特征，从而实现更准确的对齐。

旋转范围​

Rotation Range settings in Template Image and Alignment

  • 是什么： 设置系统在将部件与模板匹配时可容忍的旋转角度（以度为单位）。
  • 示例： 将设置为 ±20°，允许部件稍微旋转但仍可被检测到。
  • 何时调整： 如果生产过程中部件易旋转，请增大；若定向高度一致，请减小。

灵敏度​

Sensitivity settings in Template Image and Alignment

  • 是什么： 控制系统在实时图像与模板之间寻找匹配的细粒度程度。
  • 影响：
    • 高灵敏度 → 能检测到更微小的细节，适用于复杂部件。
    • 较低灵敏度 → 减少误匹配，但可能错过细微特征。

置信度阈值​

Confidence Threshold settings in Template Image and Alignment

  • 是什么： 设置系统接受检测所需的最小置信度分数。
  • 影响：
    • 较高阈值 → 误报更少，但可能错过边界匹配。
    • 较低阈值 → 检测更多，但误报风险增高。
提示

从中等开始，并根据测试结果进行调整。

尺度不变性​

Scale Invariant settings in Template Image and Alignment

  • 是什么： 允许系统检测相对于原始模板图像略大或略小的部件。
  • 启用时机： 当部件尺寸可能因定位、距离变化或制造公差而略有变化时。

实时预览图例​

Live Preview in Template Image and Alignment

1. 一个可配置的边界框，用于在触发期间监控摄像机视场（FOV）的特定区域。

  • 目的： 确保相机仅聚焦相关区域，忽略背景中不必要的区域。
  • 最佳用法：
    • 对于移动对象，为确保部件始终处于检测区域内。
    • 通过减少分析的图像数据量来优化处理速度。

2. 一个可视红点，显示图像中所有定义的 ROI（Region of Interest）的中心点。

  • 目的： 帮助您相对于部件或摄像机视图对搜索区域进行对齐和定位。

3. 绿线表示检测到对象的边缘。

提示

如果您看到边线变为红色，请尝试增大 ROI 大小、调整 ROI，或提高灵敏度。

Example of edge detection

ROI（Region of Interest）定义与优化​

Inspection Types​

检查设置中的 Inspection Type 设置

  • What it is: 定义正在执行的 检查类型，并将相似的 ROI（Region of Interest）分组。
  • Example: 对零件中孔的存在、尺寸或质量进行检查时，用“Holes”。
  • Key features:
    • Add Inspection Type: 为不同的检查需求创建新类别。
    • # of ROIs: 显示当前分配给该检查类型的 ROI 数量。

Transformation​

Inspection Setup 中的 Transformation 设置

  • What it is: 调整所选 ROI 的 位置和几何形状，以实现精确对齐和放置。
  • Fields and their purpose:
    • Height/Width: 改变 ROI 的尺寸。
    • X / Y: 沿水平 (X) 与垂直 (Y) 轴移动 ROI 的位置。
    • Angle: 围绕中心旋转 ROI。
  • Best use: 当存在重复模式（如多个相同孔洞）时，能够加速设置。

Inspection Regions​

Inspection Regions 设置在 Inspection Setup 中

  • What it is: 模板图像中定义的所有 ROI 的列表。
  • Features:
    • Add Inspection Region: 手动创建一个新的 ROI。
    • Ignore Regions: 从处理中排除特定区域。
    • Edit: 保存、删除或取消。
    • Lock Icon: 表示已锁定的 ROI，在解锁前不可移动。

Live Preview Mode​

Inspection Setup 中的实时预览模式与测试

  • What it is: 调整或添加 ROI 后显示实时反馈。
  • Use case: 在设置阶段对 ROI 的位置和尺寸进行 fine-tuning 时非常有用。

Test Button​

Inspection Setup 中的实时预览模式与测试

  • What it is: 基于旧图像进行回测以验证更改。
  • Use case: 将当前结果与先前设置进行比较，以评估准确性和一致性。

数据收集与 AI 训练​

定义不同的检查类别，并根据其指定的检查类型为每个 ROI 标注（请参见下方示例）。

已定义的检查类别及标注 ROI 的示例

使用 Annotation Tools 对图像进行标注/注释。使用 Brush Class 下拉菜单选择要注释的类别。对于分割任务，当前每个配方最多支持 10 个类别。

标注类别示例

重要性：良好数据​

良好与不良数据示例

  • Garbage In, Garbage Out（GIGO）： AI 模型只能像你提供的数据一样好。低质量或不一致的数据会导致结果不准确。

  • Diversity Matters（多样性很重要）： 收集覆盖所有现实世界变体的数据：不同班次、照明条件、零件位置和表面条件。

  • Quality Over Quantity（质量优先于数量）： 较小、清晰、标注良好的数据集通常比大型但嘈杂或不一致的数据集表现更好。

Annotation Basics（标注基础）:

  • Classification（分类）: 将整张图像或 ROI 标注为一个特定类别（例如“Good”、“Damaged”）。
  • Segmentation（分割）: 以像素级精度对感兴趣区域进行刷涂、轮廓描绘或高亮显示（例如表面上的划痕位置）。
  • Consistency（一致性）: 在标注中使用一致的规则和定义，以避免训练过程中的混淆。

Example of good annotations

Common Pitfalls（常见陷阱）

  • Insufficient Data（数据不足）: 样本过少将导致欠拟合，从而在实际场景中表现不佳。
  • Imbalanced Classes（类别不平衡）: 某一类别（如大量的“good”零件但缺陷零件较少）过度代表会导致模型偏斜。
  • Poor Labeling（标注质量差）: 不正确、不一致或匆忙的标注会显著降低准确性。
  • Ignoring Environment Changes（忽略环境变化）: 当照明、零件方向或表面条件改变时不更新数据集，会导致准确性漂移。
  • Not Validating Data（未进行数据校验）: 在训练前跳过质量检查通常会导致时间浪费和返工。

数据增强​

图像增强会 人工修改您的训练图像 以提高模型的鲁棒性。它们模拟现实世界中的变化，如亮度变化、旋转或噪声，使模型在不同条件下都能表现良好。

颜色增强​

颜色增强设置

Brightness

  • 含义： 调整图像的亮度。
  • 用例： 处理生产过程中的轻微照明变化。
提示

对于稳定的设置，使用 ±0.1；如果照明变化更大，请增大该数值。

Contrast

  • 含义： 改变明亮区域与暗部之间的对比度。
  • 用例： 对于带有纹理或表面差异的部件，帮助模型适应视觉差异。

Hue

  • 含义： 稍微偏移颜色色相。
  • 用例： 适用于照明色（如 LED 色温）随时间变化的设置。

Saturation

  • 含义： 调整颜色的饱和度。
  • 用例： 有助于应对照明变化导致图像看起来更暗淡或更鲜艳的情况。

几何增强​

几何增强设置

Rotation Range

  • 含义： 在设定范围内对图像随机旋转（例如，±20°）。
  • 用例： 适用于零件可能略有旋转的场景。
提示

对于通常固定在特定方向的部件，避免过度旋转。

Flip

  • 含义： 将图像水平翻转、垂直翻转，或两者同时翻转。
  • 用例： 对于对称部件或搬运过程中方向可能翻转的情况很有帮助。

照明与颜色仿真​

照明与颜色仿真设置

Planckian

  • 含义： 模拟色温的变化（例如暖光或冷光）。
  • 用例： 处理不同光源的色温变化。

Gaussian Noise

  • 含义： 在图像中添加微小噪声。
  • 用例： 如果生产环境存在微小的视觉噪声或相机传感器伪影，这有助于提高鲁棒性。

运动仿真​

Motion Simulation settings

Motion Blur

  • 含义： 在捕获时零件移动会产生的轻微模糊进行仿真。
  • 用例： 对于高速生产线，运动模糊可能会发生的场景至关重要。

概率（prob）​

Probability settings

  • 含义： 设置在训练期间对每种增强应用的概率。
  • 示例： 0.50 = 对任意给定训练图像应用该变化的概率为 50%。
提示

对大多数增广从 0.5 开始，并根据现实世界的变异性进行调整。

训练参数（分割）​

训练参数（也称为超参数）是在训练过程中控制 机器学习模型如何从数据中学习 的设置。

学习率​

学习率设置

  • 定义： 控制模型在训练过程中内部权重的更新速度。
  • 数值（0.003）： 学习率越高，模型学习越快，但过高可能导致不稳定或精度下降。
  • 滑块范围： 从 10^-4（非常慢）到 10^-1（非常快）。
提示

通常，0.001–0.01 之间的数值是分割任务的一个良好起点。

ROI (Region of Interest) 大小​

覆盖 ROI 大小设置

  • 定义： 定义在训练过程中使用的图像区域的尺寸（宽 × 高）。
  • 未选中： 默认情况下，模型基于您的数据自动确定 ROI。
  • 选中时： 如果需要保持输入尺寸的一致性（例如，所有图像裁剪为 256×256 像素），可以手动设置宽度和高度。
提示

在数据集中图像尺寸各不相同且希望输入尺寸保持一致以获得更好的稳定性、可重复性，或匹配某一已知模型结构时，使用固定大小（例如 256×256）。

当您的数据已经具有统一分辨率，或希望系统根据数据集特征优化 ROI 时，让它自动选择。

迭代次数（Epochs）​

迭代次数（Epochs）设置

  • 定义： 一个 epoch 等于对整个训练数据集的完整一次遍历。
  • 数值（100）： 模型将进行 100 次完整遍历的训练。
提示

通常增加这个数值在某个点之前可以提高准确性，但需要更长的训练时间。

经验法则： 在训练过程中监控训练损失与验证损失。如果验证损失不再下降，而训练损失仍在下降，则表明模型出现过拟合，应提前停止训练。

架构​

Architecture settings

  • 定义： 选择神经网络的尺寸和复杂度。
  • Small（小型）： 训练速度更快，通常足以覆盖大多数数据集。非常适合快速试验或较小数据集。
  • Larger models（较大模型） 可以捕获更多细节，但在小数据集上可能过拟合；较小模型更高效，在数据受限时具有更好的泛化能力。
提示

从 Small 开始，通常已经足够，并有助于在扩大规模之前更快迭代。

External GPU​

外部 GPU IP 地址设置

请联系支持以了解更多关于 External GPU 的信息。

训练参数（ Classification）​

训练参数（也称为超参数）是控制 机器学习模型如何从数据中学习 的设置。

学习率​

学习率设置

  • 定义： 控制模型在训练过程中内部权重的更新速度。
  • 数值（0.003）： 学习率越高，模型学习越快，但过高可能导致不稳定或准确性下降。
  • 滑块范围： 从 10^-4（非常慢）到 10^-1（非常快）。
提示

通常，0.001–0.01 之间的数值是分割任务的一个良好起点。

验证百分比​

验证百分比设置

  • 定义： 定义在训练过程中用于验证（测试）的数据集所占的比例。
  • 目的： 验证数据有助于监控模型在未见样本上的表现，防止过拟合。
  • 范围： 0–50%。
提示

常见选择为 10–20%。

如果设置为 0%，所有数据将用于训练，这可能提高训练准确性，但会使检测过拟合变得更加困难。

ROI（Region of Interest）大小​

覆盖 ROI 尺寸设置

  • 定义： 定义在训练期间使用的图像区域大小（宽 × 高）。
  • 未选中： 默认情况下，模型基于您的数据自动确定 ROI。
  • 选中时： 如果需要保持输入尺寸的一致性（例如，所有图像裁剪为 256×256 像素），可以手动设置宽度和高度。
提示

当数据集中的图像大小不一且你希望输入保持一致以获得更好的稳定性、可重复性，或与已知模型架构匹配时，请使用固定尺寸（如 256×256）。

当数据已经具有统一分辨率，或你希望系统根据数据集的特征自动优化 ROI 时，让系统自动选择。

迭代次数（Epochs）​

Number of Iterations (Epochs) settings

  • 定义： 一个 epoch 等于对整个训练数据集的完整遍历。
  • 数值（100）： 模型将进行 100 次完整遍历。
提示

通常增加该数值会在一定程度上提高准确性，但训练时间也会相应增长。

经验法则： 在训练期间监控训练损失和验证损失。如果验证损失不再下降，而训练损失仍在下降，则表明模型出现过拟合，应提前停止训练。

架构​

架构设置

  • 定义： 选择神经网络的规模和复杂度。
  • Small： 训练更快，通常足以应对大多数数据集。非常适合快速实验或较小的数据集。
提示

从 Small 开始通常就足够了，并且在扩大规模之前有助于更快地迭代。

架构与相机描述推荐用途
ConvNeXt-Pico极轻量模型，针对速度和低内存使用进行优化。适合快速实验或硬件资源有限的场景。
ConvNeXt-Nano比 Pico 略大；在成本增加极小的情况下提供更高的精度。小到中等数据集的良好平衡。
ConvNeXt-Tiny在保持高效的同时提供更高的精度。适用于中等数据集和较长训练时间。
ConvNeXt-Small本列表中最强的变体。更高的容量和精度。用于大型数据集或需要最大性能时。

External GPU​

External GPU IP 地址设置

请联系技术支持以了解更多关于 External GPU 的信息。