AI 驅動文件
您想了解什麼?
Haystack
Haystack 將某個工具執行過的所有檢測彙集到一張地圖上。每個點代表一次檢測,相似的影象彼此靠近。與工具訓練內容截然不同的部件會獨立顯示在外圍,而工具無法確定的部件則位於各組之間。這是回答以下問題最快捷的方式:我的哪些生產影象真正能夠改進該模型?
Haystack 適用於 AI Classification 和 AI Segmentation 工具,其他工具後續將陸續支援。它在 Setup 和 Production 中均可使用。
從左側選單開啟:In Production > Haystack。

為什麼使用它
隨機大量新增訓練影象基本上是浪費時間,因為模型已經能處理其中大多數影象。真正能改進模型的是那些讓模型感到困難的影象:位於兩個類別分界線附近的影象,以及與已見過的任何內容都不相似的影象。Haystack 能告訴您這些影象在哪裡。
- 捕捉意外情況。 新的缺陷型別、材料變化和新型失效會從工具的預期中脫穎而出
- 使用生產資料改進模型。 審查邊界案例,將其新增到訓練集並重新訓練
- 一目瞭然地看到灰色地帶。 每張檢測影象都成為一個點。相似影象聚集在一起,離群點則突出顯示
- 檢視每次重新訓練帶來的變化。 比較模型版本,檢視每個版本在生產中的表現
開啟工具的地圖
- 開啟 In Production > Haystack。
- 在右上角選擇 Recipe,然後選擇 Tool。或向下滾動至 Pick a tool to open its haystack,點選工具旁邊的 Open。當前活動的程式將排在首位。
- 地圖開啟。如果該工具尚未訓練,會顯示 Train tool to start its map。如果已訓練但尚未進行任何檢測,則隨著部件檢測的進行,點將逐漸出現。
您也可以從工具本身進入:AI Segmentation 的 Learn 步驟中有 Open in Haystack,AI Classification 的訓練步驟中會顯示一個帶 Expand 的小型 Haystack 面板。
如果相機上沒有任何程式包含 AI Classification 或 AI Segmentation 工具,頁面會列出您可以改為開啟的程式。
解讀地圖
點選頁面標題旁的 Guide,檢視簡短說明,該說明會在您工作時持續顯示在地圖旁。地圖下方的圖例說明此工具的顏色、形狀和陰影的含義。
| 地圖上的元素 | 含義 |
|---|---|
| Production ROI | 產線上的一次檢測。點選它可檢視對應的影象 |
| Training sample | 工具訓練時使用的影象:即工具所預期的內容 |
| Training spread | 每個類別訓練影象的分佈範圍 |
| Reference region | 此工具檢查所依據的容差 |
相機還會標記出值得關注的點:
| 標記 | 含義 |
|---|---|
| Anomalous | 距離最近類別中心的距離超出了該類別訓練樣本的分佈範圍 |
| Class disagreement | 被預測為某一類別,但距離另一類別更近 |
| Low confidence | 預測置信度低於您通過 Low confidence below 設定的閾值 |
| Outside training spread | 在這些座標軸上超出了其類別的訓練樣本範圍 |
| Blobs truncated | 僅 AI Segmentation:此區域中的斑點數量超過了地圖為每個區域保留的數量 |
對於 AI Segmentation,頂部的 View 開關可按 Regions 或 Blobs 顯示地圖。
縮小範圍
- 模型版本 顯示模型的某一版本,或 所有版本。正在產線上執行的版本標記為 Running。對比不同版本可檢視重新訓練帶來的變化
- 捕獲時間 將地圖限制在某個時間範圍內,例如某一個班次
- 篩選器 對任意值設定最小值和最大值
- 顏色、形狀 和 大小 用於選擇每個點的外觀所代表的含義
- 適應檢視 (Shift+F) 縮放至整幅地圖。拖動以平移,滾動以縮放
所選點背後的影象將以縮圖形式顯示在地圖旁邊。使用 排序方式 進行排序,並通過 在庫中開啟 或 在訓練中開啟 開啟任一影象。
將影象新增到訓練集
- 選擇您想要的點,例如上一個班次中的所有 類別不一致。點選一個點,按住 Shift 並點選可新增更多,或按住 Shift 並拖動以框選一組。縮圖中的 全選 可選擇所有顯示的影象。
- 點選 將 n 新增到資料集。
- 對於 AI 分類,請選擇 要分配的類別。對於 AI 分割,您可以 使用預測掩碼預填充,並在標註時進行修正。
- 確認。影象將被複制到工具的資料集中。
- 重新訓練:
- AI 分類: 點選 開啟訓練 並重新訓練。重新訓練需要 設定模式:在生產模式下,按鈕顯示為 切換到設定模式以重新訓練。
- AI 分割: 點選 開啟標籤步驟,包含新的區域,然後訓練。
在執行模式下也可以新增影象,因此您可以在產線執行時收集影象,稍後再重新訓練。
為每張影象分配您在相機影象中可以看到的類別。如果某個缺陷在影象中不可見,模型無法學習它,將其標記為缺陷只會讓模型學到噪聲。
須知事項
- Haystack 需要一個 已訓練 的 AI 分類或 AI 分割工具。其他工具型別會顯示 此工具型別暫無 haystack。
- 它需要編輯程式的許可權。請參閱 使用者與許可權
- 鍵盤快捷鍵列在 幫助 > 鍵盤快捷鍵 > Haystack 下