AI 驱动文档
您想了解什么?
Haystack
Haystack 将某个工具执行过的所有检测汇集到一张地图上。每个点代表一次检测,相似的图像彼此靠近。与工具训练内容截然不同的部件会独立显示在外围,而工具无法确定的部件则位于各组之间。这是回答以下问题最快捷的方式:我的哪些生产图像真正能够改进该模型?
Haystack 适用于 AI Classification 和 AI Segmentation 工具,其他工具后续将陆续支持。它在 Setup 和 Production 中均可使用。
从左侧菜单打开:In Production > Haystack。

为什么使用它
随机大量添加训练图像基本上是浪费时间,因为模型已经能处理其中大多数图像。真正能改进模型的是那些让模型感到困难的图像:位于两个类别分界线附近的图像,以及与已见过的任何内容都不相似的图像。Haystack 能告诉您这些图像在哪里。
- 捕捉意外情况。 新的缺陷类型、材料变化和新型失效会从工具的预期中脱颖而出
- 使用生产数据改进模型。 审查边界案例,将其添加到训练集并重新训练
- 一目了然地看到灰色地带。 每张检测图像都成为一个点。相似图像聚集在一起,离群点则突出显示
- 查看每次重新训练带来的变化。 比较模型版本,查看每个版本在生产中的表现
打开工具的地图
- 打开 In Production > Haystack。
- 在右上角选择 Recipe,然后选择 Tool。或向下滚动至 Pick a tool to open its haystack,点击工具旁边的 Open。当前活动的程序将排在首位。
- 地图打开。如果该工具尚未训练,会显示 Train tool to start its map。如果已训练但尚未进行任何检测,则随着部件检测的进行,点将逐渐出现。
您也可以从工具本身进入:AI Segmentation 的 Learn 步骤中有 Open in Haystack,AI Classification 的训练步骤中会显示一个带 Expand 的小型 Haystack 面板。
如果相机上没有任何程序包含 AI Classification 或 AI Segmentation 工具,页面会列出您可以改为打开的程序。
解读地图
点击页面标题旁的 Guide,查看简短说明,该说明会在您工作时持续显示在地图旁。地图下方的图例说明此工具的颜色、形状和阴影的含义。
| 地图上的元素 | 含义 |
|---|---|
| Production ROI | 产线上的一次检测。点击它可查看对应的图像 |
| Training sample | 工具训练时使用的图像:即工具所预期的内容 |
| Training spread | 每个类别训练图像的分布范围 |
| Reference region | 此工具检查所依据的容差 |
相机还会标记出值得关注的点:
| 标记 | 含义 |
|---|---|
| Anomalous | 距离最近类别中心的距离超出了该类别训练样本的分布范围 |
| Class disagreement | 被预测为某一类别,但距离另一类别更近 |
| Low confidence | 预测置信度低于您通过 Low confidence below 设定的阈值 |
| Outside training spread | 在这些坐标轴上超出了其类别的训练样本范围 |
| Blobs truncated | 仅 AI Segmentation:此区域中的斑点数量超过了地图为每个区域保留的数量 |
对于 AI Segmentation,顶部的 View 开关可按 Regions 或 Blobs 显示地图。
缩小范围
- 模型版本 显示模型的某一版本,或 所有版本。正在产线上运行的版本标记为 Running。对比不同版本可查看重新训练带来的变化
- 捕获时间 将地图限制在某个时间范围内,例如某一个班次
- 筛选器 对任意值设置最小值和最大值
- 颜色、形状 和 大小 用于选择每个点的外观所代表的含义
- 适应视图 (Shift+F) 缩放至整幅地图。拖动以平移,滚动以缩放
所选点背后的图像将以缩略图形式显示在地图旁边。使用 排序方式 进行排序,并通过 在库中打开 或 在训练中打开 打开任一图像。
将图像添加到训练集
- 选择您想要的点,例如上一个班次中的所有 类别不一致。点击一个点,按住 Shift 并点击可添加更多,或按住 Shift 并拖动以框选一组。缩略图中的 全选 可选择所有显示的图像。
- 点击 将 n 添加到数据集。
- 对于 AI 分类,请选择 要分配的类别。对于 AI 分割,您可以 使用预测掩码预填充,并在标注时进行修正。
- 确认。图像将被复制到工具的数据集中。
- 重新训练:
- AI 分类: 点击 打开训练 并重新训练。重新训练需要 设置模式:在生产模式下,按钮显示为 切换到设置模式以重新训练。
- AI 分割: 点击 打开标签步骤,包含新的区域,然后训练。
在运行模式下也可以添加图像,因此您可以在产线运行时收集图像,稍后再重新训练。
为每张图像分配您在相机图像中可以看到的类别。如果某个缺陷在图像中不可见,模型无法学习它,将其标记为缺陷只会让模型学到噪声。
须知事项
- Haystack 需要一个 已训练 的 AI 分类或 AI 分割工具。其他工具类型会显示 此工具类型暂无 haystack。
- 它需要编辑程序的权限。请参阅 用户与权限
- 键盘快捷键列在 帮助 > 键盘快捷键 > Haystack 下