跳到主要內容

AI 驅動文件

您想了解什麼?

檢測工具:該用哪一個

OV Spark Pro 提供七種工具。難點不在於配置,而在於選對工具,所以請從您要檢查的內容出發,而不是從工具名稱出發。

您需要檢測什麼?

選擇最接近的描述。大多數程式會組合多個工具,因此您可以在第一個工具執行後再回來新增其他工具。

配置一個工具​

選對工具就完成了一半。下面每個工具都附帶了對決定其判定的那項關鍵設定的實時演示,以及相機引導您完成的步驟、實際預設值,以及最費時間的常見錯誤。

對齊Alignment無需訓練

定位零件,使所有其他工具都在同一位置進行檢測。除非夾具每個週期都以完全相同的方式固定零件,否則這應是第一個工具,其他所有工具都引用它。

關於定位›設定›實時預覽›示教
  1. 首先新增。 工具列表中的順序即為工具的執行順序,對齊器必須在依賴它的所有工具之前執行。
  2. 設定。 按 部件已就位,開始捕獲 凍結一個合格零件,然後在始終存在的特徵上新增1至3個模板區域,並儘量分散佈置。
  3. 實時預覽。 在畫面中移動真實零件,並設定置信度閾值,使合格零件明顯高於該閾值。
  4. 將其他工具指向它。 每個工具都有自己的對齊器步驟,您可在其中選擇此對齊器,之後其區域將跟隨零件移動。
通過一張參考捕獲進行訓練,因此無需標註資料集。可選的訓練步驟可新增3至25個樣本,並僅保留在所有樣本中都穩定的特徵。
設定範圍預設控制內容
旋轉範圍0 到 180 度15 度搜尋的旋轉角度範圍。較窄的範圍可同時用於方向排除。
靈敏度0 到 21.0邊緣查詢的強度。僅在高亮保持綠色時才提高。
置信度閾值0 到 10.5,推薦 0.6 到 0.9對齊器判定部件已找到前所需達到的確信程度。
  • 對齊器不判定零件。它僅決定零件是否被已找到。
  • 如果未找到,所有引用它的工具都會已跳過,並由步驟 4 判定決定這是否算作失敗。

零件是否被找到、置信度、中心位置、旋轉角度和處理時間。

  • 切勿錨定到標籤、貼紙或缺陷上。 對齊器會跟隨貼紙而不是零件,並將所有檢測區域一起拖動。
  • 分散錨點。兩個錨點靠得太近幾乎無法提供旋轉基線,這是最常見的設定錯誤。
  • 在此基礎上構建任何內容之前先驗證它。事後修復對齊器意味著重做每個引用它的工具。

這是簡短版本。對齊 頁面提供完整的四步講解,以及一個說明離散度為何重要的錨定實驗。

對齊器在 Alignment 頁面有專門的操作指引,因為幾乎每個程式都從它開始。

相機中的同一目錄​

您可以在程式編輯器的 Add tool 下找到同一組工具:

OV Spark Pro 工具目錄,顯示所有檢測工具及其一行說明

底部內建了一個 AI 助手:Not sure which one? Describe the check in your own words,並提供諸如 "Is the connector fully seated?" 和 "The part lands at a different angle every time." 等起始提示。如果您更願意描述問題而不是從列表中挑選,就用它。

全部工具​

工具類別訓練功能
AI ClassificationAI裝置端將區域分入您已訓練的某一類別
AI CountAI裝置端檢測並計數物件,與期望數量進行比對判定
AI SegmentationAI裝置端逐畫素勾畫特徵,按面積和斑點數量進行判定
AI OCRAI無需訓練,可選調優讀取印刷或蝕刻文字並檢查其內容
Barcode Read傳統無讀取 1D 或 2D 碼並檢查其內容
Color Match傳統無檢查區域顏色是否正確,並報告偏差程度
Alignment定位無定位部件,使其他所有工具都檢測同一位置
七個工具中有四個完全無需訓練

Alignment、AI OCR、Barcode Read 和 Color Match 只要您畫出區域並設定規則即可工作。只有 Classification、Count 和 Segmentation 需要從您的樣本中學習。如果其中某個無需訓練的工具能解決您的問題,那麼它部署更快,也更容易維護。

每個工具的容量上限​

工具上限
AI Classification64 個區域,16 個類別
AI Segmentation64 個區域,64 個類別
AI Count主影象上 256 個標記部件
AI OCR16 個欄位,8 個模式
Color Match10 個參考樣本

超過上限時編輯器會阻止您繼續新增。如果某個程式需要更多,可將工作拆分到兩個同類工具中完成。

匯入已有影象​

您無需實時捕獲每一張模板或訓練影象。凡是工具需要影象的地方,您都可以從相機的庫中選擇一張,或從您的電腦上傳一張。

在工具要求您捕獲的任何位置,請在捕獲按鈕旁查詢 Use existing image(使用現有影象):對齊器的模板、每個工具 Set Up 和標註步驟中的參考和訓練捕獲、AI Count 主影象以及 Color Match 樣本。只需一張影象的步驟使用一張;構建訓練集的步驟一次使用多張。

捕獲主影象下方的"使用現有影象"按鈕

它會開啟選擇器:

新增影象選擇器,包含"從庫中"和"從電腦上傳"標籤頁、按 Capture ID、Trigger ID、捕獲時間、程式和判定過濾的篩選器以及"匯入"按鈕

標籤頁工作方式
From library(從庫中)按 Capture ID、Trigger ID、捕獲時間、程式或判定進行過濾,勾選所需的捕獲影象,然後按 Import(匯入)
Upload from computer(從電腦上傳)將 JPEG 或 PNG 檔案拖至頁面上,或點選選擇,然後按 Import(匯入)
From dataset(從資料集)當工具已有訓練集時顯示,以便您複用其中一張影象作為參考

匯入的影象帶有 Imported(已匯入)標識,每個檔案都會報告它是否成功匯入或未能匯入的原因。

上傳必須與相機完全匹配

上傳的影象必須是相機本身的解析度,OV Spark Pro 為 2592×1944,並且為 8 位 JPEG 或 PNG。如果尺寸不同、為 16 位、帶有透明通道、帶有 EXIF 旋轉資訊或超過 32 MiB,則會被拒絕。相機永遠不會重新縮放上傳的影象,因為區域和模板是以感測器畫素儲存的。安全的來源是本相機拍攝並從其庫中匯出的影象。

固定您以後需要的捕獲影象

當儲存空間填滿時,相機會刪除最舊的未固定捕獲影象,而影象已丟失的捕獲無法匯入。當某個部件出現您希望用於訓練的缺陷時,請在庫中將其固定。

定位優先​

如果您的部件沒有被夾具固定,定位幾乎總是程式中的第一個工具。它向相機訓練一個參考圖案,在每一幀中查詢該圖案,並報告部件的實際位置。

其他工具隨後引用該對齊器,使其區域跟隨部件移動,而不是固定在畫面上。否則,若部件向左偏移 5 mm,所有區域都會隨之偏移,良品也會無故開始失敗。

AI 工具深度介紹​

AI Classification​

當答案是一個類別時使用。 存在或缺失、裝配到位或缺失、破損或完好、良或次、哪個變體、哪個缺陷等級。

繪製一個或多個區域,為每個類別標註少量示例影象,並在裝置上數秒內完成訓練。在執行時,每個區域都會被分類並根據您設定的判定規則進行評級。

當差異是視覺上可見的,並且您能夠為每種結果提供示例時效果最佳。

此處的全部工作就是標註:每張捕獲的影象上,每個區域都會分配一個類別。試一試:

試一試點選 ROI 以重新標註
Screw_1 · presentScrew_2 · absentScrew_3 · presentScrew_4 · presentScrew_5 · presentScrew_6 · damaged

點選螺絲可在三個類別之間迴圈切換。右側的輸出表格會實時更新,全域性判定則反映您在 IO模組 中編寫的規則。

類別

點選標籤以僅高亮顯示該類別。

輸出 · 6 個 ROI
Screw_1present 0.97
Screw_2absent 0.94
Screw_3present 0.97
Screw_4present 0.97
Screw_5present 0.97
Screw_6damaged 0.82
判定結果FAIL

AI Count​

用於答案是數字的場景。 泡罩中的藥片、聯結器中的針腳、托盤中的物品。

在幾張捕獲的影象上標註物件,並在裝置上訓練一個小型檢測器。執行時,該工具會計數區域內的每個匹配項,並根據您設定的計數範圍判定通過或失敗。

在標註之前,您需要先捕獲一張主影象。

AI Segmentation​

用於答案是數量多少的場景。 汙染程度、塗層覆蓋範圍、缺陷大小。

在幾張影象上為每個感興趣的類別繪製畫素掩碼,然後在裝置上訓練。執行時,該工具會測量區域內每個類別的面積和斑點數量,並根據您為每個類別設定的最小值和最大值判定通過或失敗。

只要在一張影象上繪製了掩碼即可開始訓練,僅用幾張影象訓練的模型就已經很有用了。更多樣化的樣本仍能帶來更好的模型。

這是設定工作量最大的工具,因此只有在簡單的通過或失敗確實不夠用時才使用它。工作量都在繪製上:

試一試塗抹每處缺陷以進行標註

在右側選擇一個類別,然後拖動進行塗抹。畫素覆蓋率會隨塗抹實時更新,判定會應用示例 當總量 > 2% 時判為 FAIL 規則。點選 自動塗抹 可檢視標準標註結果。

類別調色盤
掩膜 · Surface_Top
scratch
0.00%
stain
0.00%
缺陷總量
0.00%
PASS

AI OCR​

用於需要讀取文字的場景。 批號、有效期、序列號。

為每行文字繪製一個欄位,宣告該欄位可以包含的內容,並可選地固定其格式或日曆規則,這樣過期日期會判定失敗,而不僅僅是被讀取。開箱即用,無需訓練。

經典工具​

Barcode Read​

讀取 1D 條碼(Code 128、EAN-13)或 2D 碼(Data Matrix、QR),並報告解碼後的文字。通過意味著成功讀取了碼,並且在您設定了預期模式時,文字與模式匹配。

鬆散地繪製此區域,與其他工具相反

在本頁其他地方的建議都是緊密裁剪。條碼是例外。碼需要周圍有靜區才能解碼,因此請圍繞碼出現的區域繪製區域,而不是緊貼碼本身。

這個差異並不細微:緊貼的框在 300 次中僅成功解碼 21 次,而將邊距加倍後同一個碼在 300 次中讀取了 158 次。還要包含整個碼,因為半個碼會被識別為沒有碼。

如果碼在畫面中太小,請將相機移近。擴大區域沒有用,而覆蓋大部分畫面的區域可能需要超過一秒才能搜尋完成。

Color Match​

在要檢查的顏色上繪製一個區域,並通過樣本或手動設定參考顏色。每次檢測都會報告該區域的平均顏色、與參考顏色的 ΔE2000 距離,以及由此得出的匹配分數:

score = 100 - 4 x deltaE

當分數等於或高於您的閾值時,該工具判定通過,預設閾值為 70。如果良品失敗則調低,如果不良品通過則調高。

無需訓練。設定好區域和參考後即可執行。

它不是色度計

此處的 ΔE 是相對於此相機在此光照下的值。請在零件之間互相比較,切勿與實驗室讀數比較。請先在影象設定中設定手動白平衡,因為自動白平衡會在零件顏色變化時重新適應,而這恰恰是您想要測量的內容。

在難以抉擇時如何選擇​

如果您在以下選項之間猶豫選擇原因
Classification 和 SegmentationClassification如果只需通過或失敗的判定結果,訓練更快,執行更輕量
Classification 和 CountCount如果數量本身就是規格要求,而不僅僅是判斷是否存在
Count 和 SegmentationSegmentation如果物體相互融合、無法分離
OCR 和 Barcode ReadBarcode Read如果標記是碼,讀取碼比讀取文字更快、更可靠
Color Match 和 ClassificationColor Match如果檢測確實關乎色調,無需訓練
第 8 步,共 13 步
下一步 →步驟 4:判定