工業相機
- Advertisment -
人工智慧結合機器視覺 創新應用源源不絕
ML增添機器視覺應用彈性
研華網路暨通訊事業群資深協理林俊杰(圖1)指出，機器視覺在製造業應用已經有相當長的一段歷史，且隨著檢測對象不同，分化出許多次領域，例如針對電子元件、電路板的自動化光學檢測(AOI)、針對產品組裝的視覺校準/對位，乃至成品/半成品的外觀瑕疵檢測等，都可以歸類於機器視覺的範疇。
圖1 研華網路暨通訊事業群資深協理林俊杰表示，機器學習可望讓機器視覺變得更具應用彈性，系統整合商更容易將業務觸角延伸到其他領域。
但現有機器視覺系統的核心，多半是以規則為基礎的軟體程式，當工業相機拍攝到過去從未見過的影像，取得的特徵值無法對應回既有的軟體系統時，就會很容易出現誤判或無法識別。這使得機器視覺系統的設計規畫跟部署，變成一項非常仰賴專家的工作。唯有針對某一類應用有深入研究，並且累積了大量經驗的SI，才能寫出符合生產線需求機器視覺軟體。而且，某個特定領域的專家，要跨到其他機器視覺的領域，也不是那麼容易的事情。
基於機器學習(ML)的機器視覺，則是完全不同的典範。一套辨識模型或演算法，經過不同的資料集訓練，就可以辨識出不同型態的圖樣，而且隨著工業相機取得的影像資料越多，累積的訓練資料增加，系統辨識的準確度還有機會進一步改善。
另一方面，對機器視覺SI業者而言，基於ML的視覺系統還有更容易跨領域應用的優勢。例如一個經過訓練的免洗杯辨識演算法，只要稍加調整跟再訓練，就可以用來辨識不同種類的杯子，例如玻璃杯、馬克杯，因為這些杯子都有一些共通的特徵值。如果是傳統的機器視覺軟體，開發過程就得從頭來過。
凌華科技資深產品經理許凱翔(圖2)指出，機器學習對機器視覺技術的應用拓展，能做出非常大的貢獻。在過去，機器視覺軟體是以預先設定的規則為基礎，工程師在開發軟體時，必須用演算法把想要偵測的影像特徵，例如瑕疵的特徵詳實描述清楚，系統判斷的準確率才會高。
圖2 凌華科技資深產品經理許凱翔認為，遇到本身帶有圖樣的待檢測物件，機器學習的優勢非常明顯。
但在實際應用上，這種方法常會遇到困難，例如待測物本身就帶有某些圖樣(Pattern)時，當瑕疵跟背景圖樣混在一起，系統要精準辨識出瑕疵的難度就很高。這種情況在電子業其實很常見，例如TFT-LCD面板、太陽能電池片(Solar Cell)，本身就是有圖樣的產品，要用現有的機器視覺去抓出這類產品的瑕疵，是很大的挑戰。
對機器學習來說，圖樣辨識正是它最擅長的工作。因此，基於機器學習的機器視覺系統，只要圖像處理、判斷的速度夠快，就能為機器視覺技術的應用打開很多新的可能性。
FPGA/GPU對決戲碼上演
要讓機器視覺系統具備執行機器學習推論的能力，相關設備必須具備更高的運算能力。目前市場上已經有許多半導體業者推出機器學習解決方案，但由於各家業者的核心技術不同，因此在性能、功耗與應用彈性方面，存在很大的落差。
林俊杰指出，目前機器學習最理想的開發平台是GPU，因為GPU有最好的軟體適應性，設計迭代最方便，但如果是要部署到生產現場，GPU可能就不是那麼理想，因為GPU的功耗較高，有時還是需要搭配主動式散熱。但很多生產現場是不允許散熱風扇存在的，例如烤漆作業區，因為環境裡有粉塵，不只容易導致風扇故障，萬一有火花產生，還有可能引發爆炸。
因此，如果是要部署到現場的設備，其所搭載的GPU理想上應該採用低功耗版本，以避免設備必須仰賴主動式散熱。但低功耗版本的GPU，運算效能也相對有限，應用開發者必須對此做出取捨。
相較之下，FPGA是比較適合部署在現場的運算硬體平台，但FPGA的設計迭代過程比GPU耗時，軟體修改後，硬體描述語言(HDL)也要跟著調整，才能實現最佳化。因此，基於FPGA的機器視覺系統，開發時間必然會比基於GPU的系統來得漫長。
許翔凱則表示，GPU的開發速度最快，而且幾乎每個研究人工智慧(AI)的工程師都熟悉GPU平台的開發環境。人才跟平台的易用性，是凌華決定跟NVIDIA合作，率先推出整合Jetson TX-2嵌入式GPU的NEON-J工業相機的原因。
不過，由於Jetson-TX2是專為嵌入式應用設計的低功耗GPU，其運算能力無法跟桌上型電腦、伺服器使用的GPU相提並論，因此目前NEON-J不能執行太複雜的機器學習模型，否則會來不及對影像做出即時判斷。
即便NEON-J目前還無法執行太複雜的模型推論，但其基於機器學習的特性，已經成功為機器視覺打開新的應用市場。舉例來說，食品業的產品分類/分級應用，就很適合用NEON-J來執行。像是肉品分切作業，要依照肉品的油花分布狀況來判斷肉品等級，或是肉品出於哪個部位，就要靠圖像識別來實現，傳統基於規則的機器視覺軟體很難處理這種問題。
另一個應用案例是冷凍披薩工廠的品管。披薩廠商在產品包裝前，要先檢查披薩上的餡料數量、狀態做出檢查，才能避免NG的產品賣到消費者手上。從機器視覺的角度，這是一個典型的圖樣辨識問題，例如鳳梨、香腸的片數是否符合標準，有沒有破損，就得靠圖樣識別來做。因為披薩上的鳳梨、香腸切片可能有大有小，傳統的機器視覺分析軟體遇到這種待測物，容易出現誤判。
ASIC加速器設計過於局限 不利機器視覺應用
至於眾多大廠與新創公司紛紛布局的專用加速器，對機器視覺開發商來說，吸引力恐怕很有限。林俊杰認為，專用加速器最大的問題在於彈性不足，只能對特定模型發揮加速效果，如果機器視覺系統使用的模型不在其支援範圍內，不是加速效果不好，就是根本無法執行。
這正是在機器視覺系統中使用專用加速器最大的問題--機器視覺要偵測的物件或圖樣有很大的變異性，使用的模型可能不是主流。相較之下，安全監控產業的需求單一，如果需要用到人工智慧，不外是用來實作人臉識別、人流偵測、虛擬圍籬等功能，使用的模型也只有固定幾種，因此晶片開發商在設計晶片時，可以很容易掌握客戶的規格需求。
此外，跟安全監控相比，機器視覺是一個規模更小的利基市場，因此晶片商恐怕不會這麼快就將產品線延伸到機器視覺相關領域。因此，林俊杰預估，至少在未來兩到三年內，機器視覺開發商如果要採用人工智慧，處理器的選擇應該只有GPU跟FPGA兩種。
訓練資料集取得不易為最大發展障礙
總結來說，對機器視覺應用來說，機器學習是一個很值得期待的互補型技術。以規則為基礎的分析軟體，在量測物件尺寸、辨識QR Code、條碼，以及引導機器手臂在2維平面上運作，是很有效率的，可靠度也高。但如果是要處理跟圖樣有關的問題，機器學習是比較理想的解決方法。
不過，對大多數基於機器學習的系統來說，訓練資料的數量跟品質，還是許多開發者所面臨的最大難題，基於機器學習的機器視覺也不例外。現在許多網路大廠都已經提供雲端訓練工具，因此，開發者要訓練自己的模型，門檻已經比以往大為降低，但要取得足夠且高品質的訓練資料集，還是要投入很多資源。
近幾年中國掀起人工智慧熱潮，也促成一個新的行業--資料標籤公司誕生，但這些專門提供資料標籤建置的服務業者，通常沒有足夠的能力處理工業製程中所拍攝的影像。舉例來說，金屬加工件的邊緣出現毛邊，但程度要多嚴重才應該被判定不良品，就只有那個行業的老師傅能準確判斷，不在該行業的標籤建置人員很難做好這項工作。因此，即便是採用機器學習技術，SI想要跨到新的領域，還是有一定門檻要跨過。
許翔凱就透露，有一家客戶曾經把資料集建置的工作外包給專門做資料標籤的公司，但據此訓練出來的模型，準確率跟預期有一段落差。客戶回頭檢討才發現，訓練模型用的資料集有很多標籤是錯誤的，因此訓練出來的模型當然不準確。
因此，如果工廠真的有意導入基於機器學習的視覺系統，在資料建置方面，最好還是不要假他人之手。讓自家產線上的作業員協助標記，成果會比外包好，但相對的也會增加作業員的工作負擔。
除了標籤的問題外，不良品的影像資料取得，其實是很困難的事。以凌華自己的產線為例，一條成熟的生產線，產品良率至少都在9成以上，不良品的數量非常少。這意味著凌華很難收集到不良品的影像去進行模型訓練。
也因為不良品的影像很難取得，因此有很多研究者嘗試用變造影像的方法來擴充資料集，例如把影像扭曲、旋轉、添加雜訊等。從一些實驗數據來看，這種方法可能有效，但在工業應用上，用這種資料集訓練出來的模型能不能用，還需要進一步驗證。此外，也有一些新的模型只需要少量訓練影像資料，就能達到不錯的準確率，但這些模型是否適合機器視覺應用，也還需要進一步研究。
因此，機器視覺系統要改以機器學習為基礎，並大量普及到工業現場，還需要一些時間來醞釀。但整體來說，因為以機器學習為基礎的機器視覺，對各種應用情境的適應能力較佳，因此長期來看，SI或軟體開發者應該還是會逐漸轉向機器學習。
兆鎂新工業相機新品搭載GigE ix-Industrial
兆鎂新(The Imaging Source)推出四款全新900萬畫素及1200萬畫素工業相機，搭載最新、大片幅Sony Pregius CMOS感光元件及堅固的ix-Industrial乙太網路介面。
兆鎂新38系列彩色及黑白相機搭配Sony高性價比IMX267及IMX304感光元件，提供高解析度(幀速率13fps時達880萬畫素、幀速率9fps時達1230萬畫素)，呈現高感光、最高動態範圍、低噪點和傑出的色彩重現。專為現代影像系統打造，IMX267及IMX304全局快門感光元件為各式機器視覺應用的理想方案，如工業檢測、光學檢測、交通監控等；相容GigE-Vision規格使整合更為簡易，在應用上也更符合標準。
38系列GigE工業相機為The Imaging Source 兆鎂新產品中第一款提供ix-Industrial乙太網路介面的相機，尺寸約比RJ45小70 %。新介面使用金屬卡入式插針來主動鎖定插座和插頭，提供即時觸覺反饋以確認正確連接。整合鎖確保堅固的連接，提供高抗震性及長使用壽命，是工業環境應用的理想方案。
兆鎂新提供免費軟體及軟體開發套件；支援Windows及Linux系統: IC Imaging軟體開發套件；終端使用者軟體IC Capture，可用來擷取影像；IC 3D，可進行三維立體深度測量; IC Measure，可進行螢幕顯像測量，以及IC Barcode，可用來偵測一維及二維條碼。
機器視覺加持 VGR抓取/品管樣樣行
近年來，機器視覺在工業領域的應用範疇大舉擴張，除了原本的讀碼掃描、文字識別功能外，更與機器手臂結合，讓原本只能盲取盲放的手臂開啟視野，能夠辨識其所要取放的物體，甚至還可以繞過障礙物。另一方面，機器手臂也讓原本大多採取定點安裝，應用受到局限的機器視覺變得更加彈性，例如安裝在手臂上的移動式視覺系統，就能更靈活地貼近表面凹凸不平的待測物，看到更多原本看不到的死角。
所羅門集團日前在自動化展中，展示了多款機器視覺與機器手臂結合應用的案例。除了利用2D機器視覺辨識待取物料的顏色、輪廓跟位置，進而精準抓取正確的物件外，由兩支鏡頭所組成的3D視覺系統，則賦予視覺引導機器人(VGR)「深度」的概念，讓VGR得以從有一定深度的物料箱中取出雜亂堆放的物料，並閃過箱壁的阻礙，將物料放到對應的定點。
所羅門表示，由於2D視覺沒有深度的概念，因此採用2D機器視覺的手臂雖可精準取放跟辨識物料，但倘若從出發點到目的地之間有障礙物存在，除非這個障礙物是固定的，可以透過預先編程來閃躲，否則光靠機器視覺，無法提供給手臂足夠的資料。但3D機器視覺則可以感測出深度的變化，進而指揮手臂做出閃躲動作。
這其實是一項很實用的功能。舉例來說，當物料箱裡有一堆隨機堆疊的物料需要機器手臂個別撿取到定點，隨著時間過去，箱子裡的物料越來越少，手臂Z軸運動的距離也會跟著增加，就像人伸手到箱子的底部取出料件，要把手伸得更進去一樣。但當手臂要從箱子縮回來時，如果沒有Z軸的資訊，手臂很可能會直接撞上箱子卡住。
當然，這個問題還是可以透過手臂編程來解決，例如手臂要上升到某個固定的安全高度後，再開始往目的地移動。但3D視覺可以用即時量測的方式提供手臂必要的資訊，因此在應用上可以更加靈活。
除了扮演指揮官的角色之外，所羅門也展示了直接將機器視覺系統安裝在手臂上的應用。這種應用模式稱為移動式機器視覺，其特性在於讓視覺系統在檢測表面凹凸不平的待測物時，能夠從更多不同角度取得物件的影像，進而找出原本藏在死角裡的瑕疵。
所羅門指出，一般來說，工業相機都是定點安裝居多，但這種安裝模式在應用上有其局限性。以物件瑕疵檢測為例，若待測物本身凹凸不平，相機卻只能從一個固定角度取得影像，則這些影像難免會有死角產生。傳統上，遇到這種狀況只有兩種解決方法，一是用多台相機從不同角度取像，二是讓物件旋轉移動，用各種角度去面對工業相機。
直接把工業相機安裝在手臂上，則是近年興起的新解法。藉由手臂靈活運動的特性，工業相機可以從各種角度取的待測物的影像，而且即便待測物像汽車引擎蓋那麼龐大，也只需要一台工業相機就能取得高解析度影像，讓細小瑕疵無所遁形。但這種做法也有其先天限制，就是檢查速度往往會比同時使用多台相機來得慢。但因為無死角這個特性，因此在大型零部件的品管檢測上，這種移動式視覺頗獲客戶好評。