ML增添機器視覺應用彈性
研華網路暨通訊事業群資深協理林俊杰(圖1)指出，機器視覺在製造業應用已經有相當長的一段歷史，且隨著檢測對象不同，分化出許多次領域，例如針對電子元件、電路板的自動化光學檢測(AOI)、針對產品組裝的視覺校準/對位，乃至成品/半成品的外觀瑕疵檢測等，都可以歸類於機器視覺的範疇。
但現有機器視覺系統的核心，多半是以規則為基礎的軟體程式，當工業相機拍攝到過去從未見過的影像，取得的特徵值無法對應回既有的軟體系統時，就會很容易出現誤判或無法識別。這使得機器視覺系統的設計規畫跟部署，變成一項非常仰賴專家的工作。唯有針對某一類應用有深入研究，並且累積了大量經驗的SI，才能寫出符合生產線需求機器視覺軟體。而且，某個特定領域的專家，要跨到其他機器視覺的領域，也不是那麼容易的事情。
基於機器學習(ML)的機器視覺，則是完全不同的典範。一套辨識模型或演算法，經過不同的資料集訓練，就可以辨識出不同型態的圖樣，而且隨著工業相機取得的影像資料越多，累積的訓練資料增加，系統辨識的準確度還有機會進一步改善。
另一方面，對機器視覺SI業者而言，基於ML的視覺系統還有更容易跨領域應用的優勢。例如一個經過訓練的免洗杯辨識演算法，只要稍加調整跟再訓練，就可以用來辨識不同種類的杯子，例如玻璃杯、馬克杯，因為這些杯子都有一些共通的特徵值。如果是傳統的機器視覺軟體，開發過程就得從頭來過。
凌華科技資深產品經理許凱翔(圖2)指出，機器學習對機器視覺技術的應用拓展，能做出非常大的貢獻。在過去，機器視覺軟體是以預先設定的規則為基礎，工程師在開發軟體時，必須用演算法把想要偵測的影像特徵，例如瑕疵的特徵詳實描述清楚，系統判斷的準確率才會高。
但在實際應用上，這種方法常會遇到困難，例如待測物本身就帶有某些圖樣(Pattern)時，當瑕疵跟背景圖樣混在一起，系統要精準辨識出瑕疵的難度就很高。這種情況在電子業其實很常見，例如TFT-LCD面板、太陽能電池片(Solar Cell)，本身就是有圖樣的產品，要用現有的機器視覺去抓出這類產品的瑕疵，是很大的挑戰。
對機器學習來說，圖樣辨識正是它最擅長的工作。因此，基於機器學習的機器視覺系統，只要圖像處理、判斷的速度夠快，就能為機器視覺技術的應用打開很多新的可能性。
FPGA/GPU對決戲碼上演
要讓機器視覺系統具備執行機器學習推論的能力，相關設備必須具備更高的運算能力。目前市場上已經有許多半導體業者推出機器學習解決方案，但由於各家業者的核心技術不同，因此在性能、功耗與應用彈性方面，存在很大的落差。
林俊杰指出，目前機器學習最理想的開發平台是GPU，因為GPU有最好的軟體適應性，設計迭代最方便，但如果是要部署到生產現場，GPU可能就不是那麼理想，因為GPU的功耗較高，有時還是需要搭配主動式散熱。但很多生產現場是不允許散熱風扇存在的，例如烤漆作業區，因為環境裡有粉塵，不只容易導致風扇故障，萬一有火花產生，還有可能引發爆炸。
因此，如果是要部署到現場的設備，其所搭載的GPU理想上應該採用低功耗版本，以避免設備必須仰賴主動式散熱。但低功耗版本的GPU，運算效能也相對有限，應用開發者必須對此做出取捨。
相較之下，FPGA是比較適合部署在現場的運算硬體平台，但FPGA的設計迭代過程比GPU耗時，軟體修改後，硬體描述語言(HDL)也要跟著調整，才能實現最佳化。因此，基於FPGA的機器視覺系統，開發時間必然會比基於GPU的系統來得漫長。
許翔凱則表示，GPU的開發速度最快，而且幾乎每個研究人工智慧(AI)的工程師都熟悉GPU平台的開發環境。人才跟平台的易用性，是凌華決定跟NVIDIA合作，率先推出整合Jetson TX-2嵌入式GPU的NEON-J工業相機的原因。
不過，由於Jetson-TX2是專為嵌入式應用設計的低功耗GPU，其運算能力無法跟桌上型電腦、伺服器使用的GPU相提並論，因此目前NEON-J不能執行太複雜的機器學習模型，否則會來不及對影像做出即時判斷。
即便NEON-J目前還無法執行太複雜的模型推論，但其基於機器學習的特性，已經成功為機器視覺打開新的應用市場。舉例來說，食品業的產品分類/分級應用，就很適合用NEON-J來執行。像是肉品分切作業，要依照肉品的油花分布狀況來判斷肉品等級，或是肉品出於哪個部位，就要靠圖像識別來實現，傳統基於規則的機器視覺軟體很難處理這種問題。
另一個應用案例是冷凍披薩工廠的品管。披薩廠商在產品包裝前，要先檢查披薩上的餡料數量、狀態做出檢查，才能避免NG的產品賣到消費者手上。從機器視覺的角度，這是一個典型的圖樣辨識問題，例如鳳梨、香腸的片數是否符合標準，有沒有破損，就得靠圖樣識別來做。因為披薩上的鳳梨、香腸切片可能有大有小，傳統的機器視覺分析軟體遇到這種待測物，容易出現誤判。
ASIC加速器設計過於局限 不利機器視覺應用
至於眾多大廠與新創公司紛紛布局的專用加速器，對機器視覺開發商來說，吸引力恐怕很有限。林俊杰認為，專用加速器最大的問題在於彈性不足，只能對特定模型發揮加速效果，如果機器視覺系統使用的模型不在其支援範圍內，不是加速效果不好，就是根本無法執行。
這正是在機器視覺系統中使用專用加速器最大的問題–機器視覺要偵測的物件或圖樣有很大的變異性，使用的模型可能不是主流。相較之下，安全監控產業的需求單一，如果需要用到人工智慧，不外是用來實作人臉識別、人流偵測、虛擬圍籬等功能，使用的模型也只有固定幾種，因此晶片開發商在設計晶片時，可以很容易掌握客戶的規格需求。
此外，跟安全監控相比，機器視覺是一個規模更小的利基市場，因此晶片商恐怕不會這麼快就將產品線延伸到機器視覺相關領域。因此，林俊杰預估，至少在未來兩到三年內，機器視覺開發商如果要採用人工智慧，處理器的選擇應該只有GPU跟FPGA兩種。
訓練資料集取得不易為最大發展障礙
總結來說，對機器視覺應用來說，機器學習是一個很值得期待的互補型技術。以規則為基礎的分析軟體，在量測物件尺寸、辨識QR Code、條碼，以及引導機器手臂在2維平面上運作，是很有效率的，可靠度也高。但如果是要處理跟圖樣有關的問題，機器學習是比較理想的解決方法。
不過，對大多數基於機器學習的系統來說，訓練資料的數量跟品質，還是許多開發者所面臨的最大難題，基於機器學習的機器視覺也不例外。現在許多網路大廠都已經提供雲端訓練工具，因此，開發者要訓練自己的模型，門檻已經比以往大為降低，但要取得足夠且高品質的訓練資料集，還是要投入很多資源。
近幾年中國掀起人工智慧熱潮，也促成一個新的行業–資料標籤公司誕生，但這些專門提供資料標籤建置的服務業者，通常沒有足夠的能力處理工業製程中所拍攝的影像。舉例來說，金屬加工件的邊緣出現毛邊，但程度要多嚴重才應該被判定不良品，就只有那個行業的老師傅能準確判斷，不在該行業的標籤建置人員很難做好這項工作。因此，即便是採用機器學習技術，SI想要跨到新的領域，還是有一定門檻要跨過。
許翔凱就透露，有一家客戶曾經把資料集建置的工作外包給專門做資料標籤的公司，但據此訓練出來的模型，準確率跟預期有一段落差。客戶回頭檢討才發現，訓練模型用的資料集有很多標籤是錯誤的，因此訓練出來的模型當然不準確。
因此，如果工廠真的有意導入基於機器學習的視覺系統，在資料建置方面，最好還是不要假他人之手。讓自家產線上的作業員協助標記，成果會比外包好，但相對的也會增加作業員的工作負擔。
除了標籤的問題外，不良品的影像資料取得，其實是很困難的事。以凌華自己的產線為例，一條成熟的生產線，產品良率至少都在9成以上，不良品的數量非常少。這意味著凌華很難收集到不良品的影像去進行模型訓練。
也因為不良品的影像很難取得，因此有很多研究者嘗試用變造影像的方法來擴充資料集，例如把影像扭曲、旋轉、添加雜訊等。從一些實驗數據來看，這種方法可能有效，但在工業應用上，用這種資料集訓練出來的模型能不能用，還需要進一步驗證。此外，也有一些新的模型只需要少量訓練影像資料，就能達到不錯的準確率，但這些模型是否適合機器視覺應用，也還需要進一步研究。
因此，機器視覺系統要改以機器學習為基礎，並大量普及到工業現場，還需要一些時間來醞釀。但整體來說，因為以機器學習為基礎的機器視覺，對各種應用情境的適應能力較佳，因此長期來看，SI或軟體開發者應該還是會逐漸轉向機器學習。
