AI 驱动文档
您想了解什么？
Haystack
Haystack 将某个工具执行过的每一次检测汇集到一张地图上。每个点代表一次检测，相似的图像彼此靠近。与工具训练时所见完全不同的部件会单独突显出来，而工具不太确定的部件则位于各组之间。这是回答以下问题的最快方法：在我的生产图像中，哪些真正有助于改进这个模型？
Haystack 适用于 AI Classification 和 AI Segmentation 工具，后续将支持更多工具。它在 Setup 和 Production 中均可使用。
从左侧菜单打开：In Production > Haystack。
为什么使用它
随机大量添加训练图像基本上是浪费时间，因为模型已经能处理其中大部分。真正能改进模型的是那些让模型难以判断的图像：介于两个类别之间的边界图像，以及与已见图像截然不同的图像。Haystack 向您展示这些图像的位置。
- 发现意外情况。 新缺陷类型、材料变化和新颖的故障会从工具预期中脱颖而出
- 使用生产数据改进模型。 审查边界案例，将其添加到训练集并重新训练
- 一目了然地查看灰色地带。 每张检测图像都变成一个点。相似图像聚集，离群值突显
- 查看每次重新训练带来的变化。 比较模型版本，查看每个版本在生产中的表现
打开某个工具的地图
- 打开 In Production > Haystack。
- 在右上角选择 Recipe，然后选择 Tool。或向下滚动至 Pick a tool to open its haystack，点击工具旁的 Open。当前活动程序排在首位。
- 地图随即打开。如果工具尚未训练，页面会显示 Train tool to start its map。如果已训练但尚未进行任何检测，点将随着工具检测部件而陆续出现。
您也可以从工具本身进入：AI Segmentation 的 Learn 步骤带有 Open in Haystack，AI Classification 的训练步骤显示一个带 Expand 的小型 Haystack 面板。
如果相机上没有任何程序包含 AI Classification 或 AI Segmentation 工具，页面会列出您可以改为打开的程序。
读懂地图
点击页面标题旁的 Guide，可获得简短说明，并在您工作时持续显示在地图旁。地图下方的图例说明了该工具的颜色、形状和阴影的含义。
| 地图上的元素 | 含义 |
|---|---|
| Production ROI | 产线上的一次检测。点击可查看背后的图像 |
| Training sample | 工具训练所用的图像：它所预期的内容 |
| Training spread | 每个类别的训练图像的分布范围 |
| Reference region | 该工具所检查的容差 |
相机还会标记值得关注的点：
| 标记 | 含义 |
|---|---|
| Anomalous | 距最近类别中心的距离超过该类别训练样本的分布范围 |
| Class disagreement | 被预测为某个类别，但最接近另一个类别 |
| Low confidence | 预测置信度低于您通过 Low confidence below 设置的阈值 |
| Outside training spread | 在这些坐标轴上超出其所属类别的训练样本范围 |
| Blobs truncated | 仅限 AI Segmentation：该区域内的斑点数超过地图为每个区域保留的数量 |
对于 AI Segmentation，顶部的 View 开关可按 Regions 或 Blobs 查看地图。
缩小范围
- Model version 显示模型的某个版本，或 All versions。产线上正在运行的版本标记为 Running。比较版本可查看重新训练带来的变化
- Captured between 将地图限制在某个时间范围内，例如某个班次
- Filters 为任意数值设置最小值和最大值
- Color by、Shape 和 Size 选择每个点的外观所代表的内容
- Fit to view (Shift+F) 缩放回整张地图。拖动可平移，滚动可缩放
所选点背后的图像以缩略图形式显示在地图旁。使用 Sort by 排序，并通过 Open in Library 或 Open in Teach 打开任一图像。
将图像添加到训练集
- 选择您想要的点，例如上一班次中所有 Class disagreement。点击某个点，按住 Shift 点击可添加更多，或按住 Shift 并拖动以框选一组点。缩略图中的 Select all 可选中所有显示的图像。
- 点击 Add n to dataset。
- 对于 AI Classification，选择 Class to assign。对于 AI Segmentation，您可以 Pre-fill with the predicted mask，并在标注时进行更正。
- 确认。图像将被复制到工具的数据集中。
- 重新训练：
- AI Classification： 点击 Open Teach 并重新训练。重新训练需要处于 Setup 模式：在 Production 模式下按钮显示为 Switch to Setup to retrain.
- AI Segmentation： 点击 Open Label step，包含新区域，然后进行训练。
在 Production 模式下也可以添加图像，因此您可以在产线运行期间收集图像，并在稍后进行重新训练。
为每张图像分配您在相机图像中能看到的类别。如果某个缺陷在图像中不可见，模型就无法学习它，将其标注为缺陷只会让模型学到噪声。
须知事项
- Haystack 需要一个已训练的 AI Classification 或 AI Segmentation 工具。其他工具类型会显示 This tool type does not have a haystack yet.
- 它需要编辑程序的权限。参见 Users and Permissions
- 键盘快捷键列在 Help > Keyboard shortcuts > Haystack 下
下一步
- Library：所有捕获，带筛选功能
- Inspection tools：AI Classification 和 AI Segmentation