機器學習
- Advertisment -
西門子打破沉默 大談AI三大應用領域
人工智慧(AI)雖然是過去兩年最熱門的話題，但過往德商西門子(Siemens)鮮少對外談到自家在相關領域的投資布局跟技術進展，特別是在製造相關領域。眾所皆知，西門子事業布局遍及能源、工業、基礎建設與醫療，其中有些領域的AI應用導入較為快速，但在工業領域，AI導入的進展看似比其他事業部門來得緩慢。但西門子只是鴨子划水，隨著時序進入2019年，西門子終於打破低調，大談人工智慧在醫療以外三大領域的應用以及公司的相關布局。
台灣西門子總裁暨執行長艾偉(Erdal Elver)表示，人工智慧不是新技術，30多年前他在慕尼黑大學攻讀碩士學位的時候，研究題目就是自然語言處理(NPL)，但當時不管是晶片運算能力、通訊頻寬或程式開發環境都還沒有到位，因此只能做紙上談兵的理論研究。當時，光是要把一個句子做德英翻譯，都得等老半天，系統才能給出差強人意的翻譯結果。但如今情況已經大不相同，透過巨量數據的蒐集與分析，搭配專業領域知識，以人工智慧科技的智慧演算，提供決策者更精準判斷的依據，提升產業生產力和效率，為社會經濟發展創造可觀價值。西門子已投入人工智慧研發三十餘年，將其電氣化、自動化與數位化的專業與人工智慧科技完美結合，致力協助台灣在智慧製造、永續能源、智慧基礎建設全方位數位轉型和智慧升級。
回顧2018財年，西門子在未來製造、永續能源、智慧基礎建設三大領域完成了數個指標性專案，為台灣產業和基礎設施導入人工智慧穩健紮根：
．未來製造：與精誠資訊、緯謙科技和新漢公司針對MindSphere簽訂合作意向書，成為全球策略聯盟夥伴；勝源機械和麗健福生物科技導入西門子MindSphere與數位解決方案，強化生產製造品質與效率；與台北市政府教育局簽訂「數位職人培育試辦計畫」合作備忘錄，強化產學鏈結，提高台灣技職人才國際就業力；在台中分公司成立「數位體驗暨技術應用中心」，提供工具機製造廠先進數位化解決方案體驗與教育訓練。
．永續能源：提供台灣電力公司智慧電表管理系統EnergyIP，優化電力傳輸效率和供電品質，因應2022年前全台逾300萬個智慧電表的管理和確保再生能源電力傳輸的穩定。
．智慧基礎建設：臺北南山廣場採用西門子數位化建築解決方案，降低大樓能耗和營運成本，榮獲「亞太地區智慧綠建築暨系統產品獎」肯定；空軍佳山洞庫系統和台北捷運環狀線採用西門子智慧建築管理平台，建構可靠穩定的環境控制系統，都獲得公共工程金質獎肯定；西門子攜手合作夥伴贏得桃園捷運綠線機電系統統包案，提供先進軌道交通科技(Trainguard MT通訊式列車控制系統與列車牽引系統、直流牽引供電系統以及智慧捷運號誌系統)，打造全台最先進的智慧捷運系統。
2019財年，西門子將繼續深化在未來製造、永續能源、智慧基礎建設三大領域業務發展，預計將在台灣推動成立物聯網使用者組織MindSphere World，結合產官學專家打造工業物聯網生態鏈。並將在台中智慧製造試營運場域完成「數位化體驗暨研發中心」的初步建置。同時也將進駐「亞洲‧矽谷」計畫桃園市虎頭山物聯網創新基地，展示西門子最先進數位科技，提供產官學研各單位技術交流和學習，並將與產官學啟動交流合作，協助台灣全面落實人工智慧於產業中的應用與普及，共創2020+ AI新世代。
西門子內部人士表示，該公司其實在AI領域已經投入很多年，但西門子的企業文化是保守的，技術沒有成熟到一定程度之前，絕對不會讓它從實驗室走出來，變成賣給客戶的產品或解決方案。事實上，西門子在2018年發表MindSphere物聯網平台的時候，公司內部就有相關爭議，因為當時MindSphere的功能跟技術成熟度，還沒有達到西門子產品向來的高標準要求。但軟體跟物聯網的產品不能等到產品完美了才推出，而是在產品推出後不斷迭代，逐漸強化跟改良。AI的情況也是類似，西門子的研發走得很前面，但如果沒有十分把握，是不會公開討論其進展的。這是一個需要時間慢慢改變的企業文化。
跟上AI影像辨識應用熱潮 新唐推智慧數位辨識系統
近來影像辨識系統需求大增，應用也愈加多元，為滿足市場需求，新唐科技推出智慧數位辨識系統，可拍攝水表、電表、氣表上的數字，並利用機器學習神經網路演算法進行辨識，進而大幅降低資料收集所需成本以及人力耗費，提升管理效率。
新唐科技表示，智慧化發展快速發酵，影像需求迅速增加，像是在許多幅員廣大的地區，例如中國廣西或是美國猶他州，由於地廣人稀，假若藉由傳統的作業模式收集資料，不僅需要大量人力，同時也曠日費時。像是以查水表為例，如果使用人力在上述地區抄水表，既花費成本，也沒有效率；因此，有些業者便改用影像拍攝水表度數。
為此，新唐科技推出智慧數位辨識系統。具有遠端抄表功能，也可以廣泛地應用在其他領域。只要將資料拍攝下來，傳送到終端，便可以直接進行資料的整合，其範圍可達方圓50~100公里。另外，由於影像資料方便儲存的特性，在管理上也比傳統方式更加便利，且不易出錯。
此一智慧數位辨識系統採用以Arm Cortex-M4為核心的NuMicro M480系列微控制器，透過互補式金屬氧化物半導體(Complementary Metal-Oxide Semiconductor, CMOS)影像感測器，所擷取的QVGA影像，可以拍攝水表、電表、氣表上的數字，再利用機器學習神經網路演算法進行辨識，判別後資訊可無線傳輸到雲端，實現遠端抄表功能。
此外，透過高性能192MHz Cortex-M4F與內建DSP的NuMicro M481，該解決方案可在0.5秒內完成影像辨識。使用內建CSI介面之M481進行影像二值化計算或搭配DSP進行卷積計算。
值得一提的是，為了確保資訊安全，M481可配置XOM保護機密程式碼。XOM是一種內部軟體保護機制，由於記憶體空間的一部分僅支援程式執行，因此除錯器或任何軟體都無法讀取記憶體的內容，使資訊安全更有保障。
人工智慧結合機器視覺 創新應用源源不絕
ML增添機器視覺應用彈性
研華網路暨通訊事業群資深協理林俊杰(圖1)指出，機器視覺在製造業應用已經有相當長的一段歷史，且隨著檢測對象不同，分化出許多次領域，例如針對電子元件、電路板的自動化光學檢測(AOI)、針對產品組裝的視覺校準/對位，乃至成品/半成品的外觀瑕疵檢測等，都可以歸類於機器視覺的範疇。
圖1 研華網路暨通訊事業群資深協理林俊杰表示，機器學習可望讓機器視覺變得更具應用彈性，系統整合商更容易將業務觸角延伸到其他領域。
但現有機器視覺系統的核心，多半是以規則為基礎的軟體程式，當工業相機拍攝到過去從未見過的影像，取得的特徵值無法對應回既有的軟體系統時，就會很容易出現誤判或無法識別。這使得機器視覺系統的設計規畫跟部署，變成一項非常仰賴專家的工作。唯有針對某一類應用有深入研究，並且累積了大量經驗的SI，才能寫出符合生產線需求機器視覺軟體。而且，某個特定領域的專家，要跨到其他機器視覺的領域，也不是那麼容易的事情。
基於機器學習(ML)的機器視覺，則是完全不同的典範。一套辨識模型或演算法，經過不同的資料集訓練，就可以辨識出不同型態的圖樣，而且隨著工業相機取得的影像資料越多，累積的訓練資料增加，系統辨識的準確度還有機會進一步改善。
另一方面，對機器視覺SI業者而言，基於ML的視覺系統還有更容易跨領域應用的優勢。例如一個經過訓練的免洗杯辨識演算法，只要稍加調整跟再訓練，就可以用來辨識不同種類的杯子，例如玻璃杯、馬克杯，因為這些杯子都有一些共通的特徵值。如果是傳統的機器視覺軟體，開發過程就得從頭來過。
凌華科技資深產品經理許凱翔(圖2)指出，機器學習對機器視覺技術的應用拓展，能做出非常大的貢獻。在過去，機器視覺軟體是以預先設定的規則為基礎，工程師在開發軟體時，必須用演算法把想要偵測的影像特徵，例如瑕疵的特徵詳實描述清楚，系統判斷的準確率才會高。
圖2 凌華科技資深產品經理許凱翔認為，遇到本身帶有圖樣的待檢測物件，機器學習的優勢非常明顯。
但在實際應用上，這種方法常會遇到困難，例如待測物本身就帶有某些圖樣(Pattern)時，當瑕疵跟背景圖樣混在一起，系統要精準辨識出瑕疵的難度就很高。這種情況在電子業其實很常見，例如TFT-LCD面板、太陽能電池片(Solar Cell)，本身就是有圖樣的產品，要用現有的機器視覺去抓出這類產品的瑕疵，是很大的挑戰。
對機器學習來說，圖樣辨識正是它最擅長的工作。因此，基於機器學習的機器視覺系統，只要圖像處理、判斷的速度夠快，就能為機器視覺技術的應用打開很多新的可能性。
FPGA/GPU對決戲碼上演
要讓機器視覺系統具備執行機器學習推論的能力，相關設備必須具備更高的運算能力。目前市場上已經有許多半導體業者推出機器學習解決方案，但由於各家業者的核心技術不同，因此在性能、功耗與應用彈性方面，存在很大的落差。
林俊杰指出，目前機器學習最理想的開發平台是GPU，因為GPU有最好的軟體適應性，設計迭代最方便，但如果是要部署到生產現場，GPU可能就不是那麼理想，因為GPU的功耗較高，有時還是需要搭配主動式散熱。但很多生產現場是不允許散熱風扇存在的，例如烤漆作業區，因為環境裡有粉塵，不只容易導致風扇故障，萬一有火花產生，還有可能引發爆炸。
因此，如果是要部署到現場的設備，其所搭載的GPU理想上應該採用低功耗版本，以避免設備必須仰賴主動式散熱。但低功耗版本的GPU，運算效能也相對有限，應用開發者必須對此做出取捨。
相較之下，FPGA是比較適合部署在現場的運算硬體平台，但FPGA的設計迭代過程比GPU耗時，軟體修改後，硬體描述語言(HDL)也要跟著調整，才能實現最佳化。因此，基於FPGA的機器視覺系統，開發時間必然會比基於GPU的系統來得漫長。
許翔凱則表示，GPU的開發速度最快，而且幾乎每個研究人工智慧(AI)的工程師都熟悉GPU平台的開發環境。人才跟平台的易用性，是凌華決定跟NVIDIA合作，率先推出整合Jetson TX-2嵌入式GPU的NEON-J工業相機的原因。
不過，由於Jetson-TX2是專為嵌入式應用設計的低功耗GPU，其運算能力無法跟桌上型電腦、伺服器使用的GPU相提並論，因此目前NEON-J不能執行太複雜的機器學習模型，否則會來不及對影像做出即時判斷。
即便NEON-J目前還無法執行太複雜的模型推論，但其基於機器學習的特性，已經成功為機器視覺打開新的應用市場。舉例來說，食品業的產品分類/分級應用，就很適合用NEON-J來執行。像是肉品分切作業，要依照肉品的油花分布狀況來判斷肉品等級，或是肉品出於哪個部位，就要靠圖像識別來實現，傳統基於規則的機器視覺軟體很難處理這種問題。
另一個應用案例是冷凍披薩工廠的品管。披薩廠商在產品包裝前，要先檢查披薩上的餡料數量、狀態做出檢查，才能避免NG的產品賣到消費者手上。從機器視覺的角度，這是一個典型的圖樣辨識問題，例如鳳梨、香腸的片數是否符合標準，有沒有破損，就得靠圖樣識別來做。因為披薩上的鳳梨、香腸切片可能有大有小，傳統的機器視覺分析軟體遇到這種待測物，容易出現誤判。
ASIC加速器設計過於局限 不利機器視覺應用
至於眾多大廠與新創公司紛紛布局的專用加速器，對機器視覺開發商來說，吸引力恐怕很有限。林俊杰認為，專用加速器最大的問題在於彈性不足，只能對特定模型發揮加速效果，如果機器視覺系統使用的模型不在其支援範圍內，不是加速效果不好，就是根本無法執行。
這正是在機器視覺系統中使用專用加速器最大的問題--機器視覺要偵測的物件或圖樣有很大的變異性，使用的模型可能不是主流。相較之下，安全監控產業的需求單一，如果需要用到人工智慧，不外是用來實作人臉識別、人流偵測、虛擬圍籬等功能，使用的模型也只有固定幾種，因此晶片開發商在設計晶片時，可以很容易掌握客戶的規格需求。
此外，跟安全監控相比，機器視覺是一個規模更小的利基市場，因此晶片商恐怕不會這麼快就將產品線延伸到機器視覺相關領域。因此，林俊杰預估，至少在未來兩到三年內，機器視覺開發商如果要採用人工智慧，處理器的選擇應該只有GPU跟FPGA兩種。
訓練資料集取得不易為最大發展障礙
總結來說，對機器視覺應用來說，機器學習是一個很值得期待的互補型技術。以規則為基礎的分析軟體，在量測物件尺寸、辨識QR Code、條碼，以及引導機器手臂在2維平面上運作，是很有效率的，可靠度也高。但如果是要處理跟圖樣有關的問題，機器學習是比較理想的解決方法。
不過，對大多數基於機器學習的系統來說，訓練資料的數量跟品質，還是許多開發者所面臨的最大難題，基於機器學習的機器視覺也不例外。現在許多網路大廠都已經提供雲端訓練工具，因此，開發者要訓練自己的模型，門檻已經比以往大為降低，但要取得足夠且高品質的訓練資料集，還是要投入很多資源。
近幾年中國掀起人工智慧熱潮，也促成一個新的行業--資料標籤公司誕生，但這些專門提供資料標籤建置的服務業者，通常沒有足夠的能力處理工業製程中所拍攝的影像。舉例來說，金屬加工件的邊緣出現毛邊，但程度要多嚴重才應該被判定不良品，就只有那個行業的老師傅能準確判斷，不在該行業的標籤建置人員很難做好這項工作。因此，即便是採用機器學習技術，SI想要跨到新的領域，還是有一定門檻要跨過。
許翔凱就透露，有一家客戶曾經把資料集建置的工作外包給專門做資料標籤的公司，但據此訓練出來的模型，準確率跟預期有一段落差。客戶回頭檢討才發現，訓練模型用的資料集有很多標籤是錯誤的，因此訓練出來的模型當然不準確。
因此，如果工廠真的有意導入基於機器學習的視覺系統，在資料建置方面，最好還是不要假他人之手。讓自家產線上的作業員協助標記，成果會比外包好，但相對的也會增加作業員的工作負擔。
除了標籤的問題外，不良品的影像資料取得，其實是很困難的事。以凌華自己的產線為例，一條成熟的生產線，產品良率至少都在9成以上，不良品的數量非常少。這意味著凌華很難收集到不良品的影像去進行模型訓練。
也因為不良品的影像很難取得，因此有很多研究者嘗試用變造影像的方法來擴充資料集，例如把影像扭曲、旋轉、添加雜訊等。從一些實驗數據來看，這種方法可能有效，但在工業應用上，用這種資料集訓練出來的模型能不能用，還需要進一步驗證。此外，也有一些新的模型只需要少量訓練影像資料，就能達到不錯的準確率，但這些模型是否適合機器視覺應用，也還需要進一步研究。
因此，機器視覺系統要改以機器學習為基礎，並大量普及到工業現場，還需要一些時間來醞釀。但整體來說，因為以機器學習為基礎的機器視覺，對各種應用情境的適應能力較佳，因此長期來看，SI或軟體開發者應該還是會逐漸轉向機器學習。
第一屆MATLAB深度學習競賽參賽隊伍逾90組
AI人工智慧科技百花齊放，無人科技應用正熱門。為培養台灣人工智慧技術人才，美國工程軟體研發大廠MathWorks公司與其在台灣業務總代理鈦思科技特別舉辦「第一屆MATLAB深度學習競賽」，並與國內研究機構權威工業技術研究院合作，以無人商店自動結帳系統作為應用主題，利用MATLAB的深度學習技術，以實際之企業應用作為實戰練習題目，鼓勵及提升國內人工智慧技術人才的培育。競賽總獎金新台幣二十萬元，開放報名至今已有超過90組團隊報名參加，參加人數超過200人。
無人零售商店國內業者都在積極搶攻，然而如何避免無人商店淪為口號噱頭，準確、快速辨識的結帳系統，以及利用AI科技增進消費在店內愉悅的購物經驗是最大的技術關鍵。在現階段，深度學習技術被廣泛視為處理辨識任務最有效的方法，它以類似人類深層神經網路(Deep Neural Network)的架構為基礎，來訓練和分析資料特徵，以讓機器學習如何自動辨識與分類。
MathWorks公司與鈦思科技主辦『MATLAB深度學習競賽』將模擬無人商店結帳系統的情境，參賽者將須開發相機中的辨識演算法，辨識零售商店常見的105項指定商品，由主辦方驗證辨識準確率，準確率最高者為優勝。
ST神經網路開發工具推動Edge AI運作
意法半導體(STMicroelectronics, ST)藉由STM32系列微控制器的市場領導地位，擴展了STM32微控制器開發生態系統STM32CubeMX，其增加了先進的人工智慧(Artificial Intelligence, AI)功能。
AI技術使用經過訓練的人工神經網路對動態和振動感測器、環境傳感器、麥克風和圖像感測器的數據訊號進行分類，相較傳統以手動處理訊號的方法更加快速、高效。
意法半導體微控制器和數位整合電路產品部總裁Claude Dardanne表示，ST的新型神經網路開發工具正在將AI導入採用微控制器的智慧邊緣和節點設備，以及物聯網、智慧大樓、工業和醫療應用中的深度嵌入式設備。
現在開發人員可以使用STM32Cube.AI將預先訓練的神經網路轉換成可在STM32微控制器上運作的C程式碼，以及經過優化的函數庫。
STM32Cube.AI附帶即用型軟體功能包，其中包括用於識別人類活動和音頻情境分類的範例代碼，可在ST SensorTile參考板和ST BLE Sensor行動App立即使用這些範例程式碼。
ST合作夥伴計畫、人工智慧，以及機器學習(Machine Learning, ML)專用社群：STM32線上社群內的合作夥伴將為開發人員提供技術支援，例如，工程服務。
邊緣運算帶動新傳輸需求 CCIX/PCIe相輔拓商機
物聯網、機器學習等等新應用的興起，驅動了許多運算與資料處理的需求，該需求為資料中心產業鏈帶來了許多機會，同時也帶來了挑戰。目前，在應用領域中以PCIe Gen4為主流介面，而CCIX的出現，則有望在與PCIe聯手合作的狀況下，開啟更多異質運算的可能性。
自2016年起成立的CCIX聯盟，正企圖推動統一的標準，並創造出頻寬更高、延遲更低的介面標準，如此看來，不免認為CCIX將成為PCIe的頭號勁敵。然而Arm資深產品經理Jeff Defilippi認為，CCIX是一個基於PCIe協定延伸而生的通訊協定，對於Arm而言，會將CCIX視為一個與PCIe互補的通訊協定，而非競爭者。在新興的應用之中，出現了越來越多特殊的設備，像是TPU、GPU、FPGA的卸載應用，CCIX可充分運用既有的伺服器互連基礎設施，還提供更高的頻寬、更低的延遲，以及共用快取記憶體的資料同步性。這不僅大幅提升加速器的實用性以及資料中心平台的整體效能與效率，亦能降低切入現有伺服器系統的門檻，以及改善加速系統的總體擁有成本(TCO)。
Defilippi進一步說明，PCIe在市場行之有年，在短時間內依然會是非常關鍵的通訊協定；Arm也會持續支援相關的解決方案。Defilippi也指出，現在也可以看見越來越多設備同時支援PCIe與CCIX介面。
另一方面，伺服器不僅僅是可應用於超大型資料中心，中小型的資料中心也同樣帶動市場發展的重要驅動力。Defilippi舉例，如機器學習相關的應用不見得只會出現在大型資料中心，許多邊緣運算設備也同樣可以做到機器學習應用。而位於邊緣、較為小型的資料中心，所需要的高速傳輸介面與大型資料中心並無太大差異；然而，對於機器尺寸的要求將會更加嚴苛，這才是未來主要的技術挑戰所在。
工業相機內建GPU AI正式走上生產第一線
直接在邊緣裝置上進行模型推論(Inference)，是人工智慧(AI)走向產業應用的必然趨勢，且隨著半導體元件技術不斷精進，推論發生的地點將會越來越貼近生產的第一線。凌華與GPU大廠NVIDIA合作，正式推出全球第一款內建GPU，可以直接執行推論的工業相機NEON-J，就是AI從雲端走向邊緣的最佳註腳。
凌華科技資深產品經理許凱翔指出，機器學習對機器視覺技術的應用拓展，能做出非常大的貢獻。在過去，機器視覺軟體是以預先設定的規則為基礎，工程師在開發軟體時，必須用演算法把想要偵測的影像特徵，例如瑕疵的特徵詳實描述清楚，系統判斷的準確率才會高。
但在實際應用上，這種方法常會遇到困難，例如待測物本身就帶有某些圖樣(Pattern)時，當瑕疵跟背景圖樣混在一起，系統要精準辨識出瑕疵的難度就很高。這種情況在電子業其實很常見，例如TFT-LCD面板、太陽能電池片(Solar Cell)，本身就是有圖樣的產品，要用現有的機器視覺去抓出這類產品的瑕疵，是很大的挑戰。
對機器學習來說，圖樣辨識正是它最擅長的工作。因此，基於機器學習的機器視覺系統，只要圖像處理、判斷的速度夠快，就能為機器視覺技術的應用打開很多新的可能性。這也是凌華跟NVIDIA合作，率先推出整合Jetson TX-2嵌入式GPU的NEON-J工業相機的原因。當推論可以直接在工業相機上執行，不必仰賴雲端，不僅可以省下可觀的網路流量，網路延遲的問題也一併解決了。
不過，由於Jetson-TX2是專為嵌入式應用設計的低功耗GPU，其運算能力無法跟桌上型電腦、伺服器使用的GPU相提並論，因此目前NEON-J不能執行太複雜的機器學習模型，否則會來不及對影像做出即時判斷。
即便NEON-J目前還無法執行太複雜的模型推論，但其基於機器學習的特性，已經成功為機器視覺打開新的應用市場。舉例來說，食品業的產品分類/分級應用，就很適合用NEON-J來執行。像是肉品分切作業，要依照肉品的油花分布狀況來判斷肉品等級，或是肉品出於哪個部位，就要靠圖像識別來實現，傳統基於規則的機器視覺軟體很難處理這種問題。
另一個應用案例是冷凍披薩工廠的品管。披薩廠商在產品包裝前，要先檢查披薩上的餡料數量、狀態做出檢查，才能避免NG的產品賣到消費者手上。從機器視覺的角度，這是一個典型的圖樣辨識問題，例如鳳梨、香腸的片數是否符合標準，有沒有破損，就得靠圖樣識別來做。因為披薩上的鳳梨、香腸切片可能有大有小，傳統的機器視覺分析軟體遇到這種待測物，容易出現誤判。
總結來說，對機器視覺應用來說，機器學習是一個很值得期待的互補型技術。以規則為基礎的分析軟體，在量測物件尺寸、辨識QR Code、條碼，以及引導機器手臂在2維平面上運作，是很有效率的，可靠度也高。但如果是要處理跟圖樣有關的問題，機器學習是比較理想的解決方法。
搶攻AIoT商機 邊緣運算模組大舉現身
AI走出資料中心 產業應用價值浮現
AI在本次物聯網共創峰會中，無疑是最熱門的議題之一，從工業製造到零售，再到醫療、能源產業，每個主題論壇幾乎都有機器學習(Machine Learning)、神經網路(Neural Network, NN)這類AI關鍵字。這也顯示各產業未來的日常運作，都將或多或少使用到AI技術。
不過，目前絕大多數的AI推論都是在雲端資料中心上執行，對許多產業應用而言，這種系統架構未必符合需求。因此，直接在嵌入式裝置上執行模型推論的邊緣運算架構，成為許多產業評估AI部署方式時的首選，也連帶使得低功耗AI處理器/加速器方案成為半導體業者不能缺席的重要戰場。
英特爾物聯網事業群(IoT Group)副總裁Jonathan Ballon(圖1)表示，許多基於AI的新應用出現，使得物聯網架構出現轉變。在過去，AI運算只發生在資料中心或雲端，這意味著如果某種應用需要AI功能，必然要仰賴雲端來提供。但現在AI正在從雲端走向終端，走進實體世界。
圖1 英特爾物聯網事業群副總裁Jonathan Ballon認為，AI正在從雲端資料中心走向邊緣節點，並創造出更大的產業應用價值。
在過去4年，GPU在AI領域取得巨大成功，特別是在資料中心跟演算法訓練上，由GPU和CPU組合而成的異質運算架構，無疑是最主流的解決方案。不過，這只是AI發展的第一個階段，在這個階段，人工智慧演算法在ImageNet這類固定、已知的龐大資料集進行訓練，證明自己在圖像辨識上的能力可以超越人類。
但這些技術上的突破，距離產業應用跟創造價值，還有一段距離。就以圖像辨識為例，對產業應用來說，這項技術真正的價值在於用機器判讀沒有看過的圖像，並取得正確的判斷結果，也就是AI推論。
英特爾觀察到，在過去12個月，不同領域企業已經把重點轉向這個領域，例如智慧城市、醫療、工業製造相關企業。然而，這些從物聯網蒐集而來的不特定資料，因為種種原因，大約有45~50%無法上傳到雲端，自然無法在雲端進行推論。因此，這些資料的處理、分析跟推論，必然要在本地端執行，也就是所謂的邊緣運算。
在邊緣運算的情境中，GPU未必是最理想的處理器選擇，因為很多應用情境不會允許設備內有散熱風扇這類可動的零部件，或是功耗預算極為有限，無法支撐GPU運作。因此，邊緣運算的異質化程度會比資料中心更高，除了CPU、GPU之外，還有各種專用加速器存在的市場空間。
但Ballon認為，隨著邊緣裝置的運算能力越來越強，「訓練在雲端，推論在邊緣」的狀況會出現變化，有些AI的訓練也可能在邊緣直接進行。
機器視覺結合AI最成熟 模組方案搶食升級商機
在各種AI應用中，機器視覺結合AI是進展速度最快的領域，而且可以發展出來的應用功能也最多。以零售業為例，從店鋪內的人流偵測、貨架上的商品存量檢查，甚至商品是否放錯位置，都可以用AI搭配機器視覺來檢測。在製造業，AI加上機器視覺最主要的應用則是生產線的品管檢查。在智慧城市、醫療等領域，AI結合機器視覺的應用也越來越多，從交通流量偵測、自動停車到判讀醫學影像等。
要讓這些應用加快普及，強大的開發工具是非常重要。為此，英特爾已經推出OpenVino開發工具，並免費提供給開發相關應用的客戶。這項工具支援CPU、GPU、FPGA與Movidius等各種硬體處理器，讓應用開發者可以把運算任務配置給最適合的處理器核心或加速器，提升應用的執行效能。該工具支援目前業界常用的各種框架、模型，還有大量的演算法參考範例，可以讓應用開發的速度明顯提升。
但除了軟體工具之外，硬體本身的效能也必須跟著提升，才能讓機器視覺結合AI真正落實到各種應用上。英特爾近期發表的Myriad X視覺處理器(VPU)，本身的封裝尺寸僅8×8mm，卻具備4TOPS運算效能，且功耗低於2瓦。對許多機器視覺應用來說，1顆Myriad X的效能已經相當足夠，但如果應用需要更高效能，該VPU還可支援雙路到八路不等的配置。由於研華是英特爾的重要合作夥伴，因此在英特爾發表該VPU之際，研華已同步推出搭載單VPU的板卡模組，未來研華還會提供搭載多路VPU的模組。
英特爾和研華有很深遠的夥伴關係，而且彼此有共同的願景。例如英特爾的Market Ready解決方案和研華的物聯網應用解決方案(SRP)，在本質上就有許多類似之處。這使得英特爾跟研華能在許多領域進行深度合作，甚至在產品還沒正式發表前，就進行共同研發。
AI模組大軍蜂擁而上
模組方案對加快AI走向真實世界的速度相當關鍵。如果沒有模組方案，已經部署到現場的設備將難以就地升級，只能汰換成新設備。但如果有模組卡，既有設備只要有保留介面，就可以立刻升級。以單VPU的模組為例，研華的模組卡就是採用業界標準的M.2規格；搭載多路VPU的模組，則料將採用mini PCIe或標準PCIe。
研華網路通訊事業群協理林俊杰指出，對應用或設備製造商而言，晶片只是關鍵零組件之一，如果應用開發商要獨力將晶片整合到設備上，需要投入相當的設計研發人力，產品開發的時間也會拉長。因此，市場對AI模組解決方案的需求，可望隨著AI從雲端走向邊緣裝置的趨勢而提升。
不過，物聯網應用本質上是一個多元而分散的市場，因此對推論運算的需求也會有所出入。有些嵌入式裝置可能需要非常高的運算能力，功耗預算也比較寬裕，採用GPU或FPGA擴充卡會是可行的選項。有些嵌入式裝置對功耗的要求比較嚴格，運算效能的需求較低，這時候加速器模組方案會比較有吸引力(圖2)。
圖2 各種AI處理器/加速器優劣勢比較
因此，除了和英特爾合作推出搭載Myriad X的模組外，研華跟索思未來(Socionext)、瑞薩(Renesas)、賽靈思(Xilinx)、NVIDIA等晶片業者，也保持密切合作的關係，並已陸續推出搭載上述晶片商產品的模組或板卡，以協助各家應用開發商快速將AI推論功能導入到產品中。
將AI引入MCU ST神經網路開發工具箱亮相
人工智慧(AI)應用無所不在，為因應龐大商機，除了處理器、數位訊號處理器(DSP)、繪圖晶片業者皆開始強化對神經網路(NN)、機器學習或深度學習等演算法支援之外，微控制器(MCU)供應商也來分一杯羹，期能讓MCU也能具備基本的AI運算能力。例如意法半導體(ST)近日便擴展旗下STM32微控制器開發生態系統「STM32CubeMX」，增加AI功能，使STM32CubeMX軟體工具擴展包「STM32Cube.AI」可生成優化代碼，在STM32微控制器上運行神經網路。
意法半導體微控制器和數位積體電路產品部總裁Claude Dardanne表示，AI技術使用經過訓練的人工神經網路對運動和振動感測器、環境感測器、麥克風和圖像感測器的資料訊號進行分類，比傳統的手工訊號處理方法更加快速、高效。該公司所推出的新型神經網路開發工具箱，正在將AI引入基於微控制器的智慧邊緣和節點設備，以及物聯網、智慧樓宇、工業和醫療應用中的嵌入式設備。
據悉，該工具支持Caffe、Keras(帶有TensorFlow後台)、Lasagne、ConvnetJS框架和Keil、IAR、System Workbench等IDE開發環境。
開發人員可以用STM32Cube.AI將預先訓練的神經網路轉成可在STM32 微控制器上運行的C代碼，調用經過優化的函式程式庫；而STM32Cube.AI附帶即用型軟體功能包「FP-AI-SENSING1」，提供支援基於神經網路的端到端運動(人類活動識別)和音訊(音訊場景分類)應用代碼示例。該功能包利用ST的SensorTile參考板在訓練之前捕獲和標記感測器資料，然後，電路板運行優化神經網路的推論，也可在ST BLE Sensor mobile app移動應用程式上立即使用這些代碼示例。
ST指出，在2019年1月8~12日，於美國拉斯維加斯所舉辦的世界消費電子展(CES)期間，該公司將會使用STM32微控制器展示STM32Cube.AI開發應用程式；而未來ST合作夥伴計畫和STM32 AI/ML社區的合作夥伴也會為開發者提供支援服務。
臉部辨識/反詐騙/低電力喚醒三合一 人臉驗證準確率大增
長久以來，人臉驗證一直被認為是電腦視覺領域中最大的挑戰之一，但現已設計出一套準確度高達98.36%的人臉驗證系統，而且是此一概念的即時驗證。本系統選擇的管線設計結合典型與現代的機器學習(深度學習)技巧，支援包括多用戶驗證以及反詐騙階段等關鍵功能，以解決利用照片或影片進行詐騙的關鍵安全議題。本文的目標是針對使用機器學習所產生的問題，以及終端用戶使用平台遭遇的問題，進一步瞭解打造更完整解決方案的程序。也因此，此一使用案例主要在探討如何在多IP上部署機器學習，以提升使用者體驗。為了達成概念驗證，本文使用Arm NN軟體以及已生產的硬體IP，展示一套Always-on的人臉解鎖(人臉驗證)系統。
人臉驗證演算法設計總覽
資訊流的來源，來自耗電量非常低的低解析度照相機檢測到的場景顯著變化，並對隨後階段進行閘控，以保持低電力使用量。當場景變化達到預先定義的水準時，高解析度的RGBD相機會啟動，並且開始針對每一幀(Frame)進行掃瞄，以找出人臉(圖1)。
圖1 當場景變化達到預先定義的水準，為找出人臉，高解析度RGBD相機會開始針對每一幀(Frame)進行掃瞄。
依據RGB資訊，倘若檢測出人臉，相對應的景深影像會傳送至負責辨識真實人臉的詐騙偵測器。在初期便放置反詐騙偵測器的作法，在出現的人臉若是列印的臉或是螢幕影像，得以馬上中止管線執行，並進一步降低電力消耗。
倘若人臉經過驗證後確認是真的，經裁切的RGB人臉會送至特徵點偵測器。追蹤可信之人臉部分，以及更精確的眼睛座標，可以協助我們對準人臉，並讓特徵提取器更易派上用場。在這個階段，我們使用卷積神經網路(Convolutional Neural Network, CNN)，替每位用戶將每張臉轉換成一套特徵集。
最後，驗證階段使用一個分類器，它負責透過比對輸入特徵與用戶儲存的特徵來驗證用戶的身份，以決定是否讓用戶進行系統存取。
此一解決方案使用Python做為開發語言達成，每一個資料段都可依據任務的不同，部署於最合適的Arm IP，讓管線更加節能，同時也能保持低推論延遲。
系統的啟動，靠在Arm Cortex-M處理器上處理的低解析度影像達成，可以提供最大的效能與最小的記憶體使用量。為了觸發高解析度相機，人臉偵測與反詐騙階段在Arm Cortex-A CPU上運作，並使用Compute Library運算函式庫支援的低階且高度優化的軟體功能。同樣地，特徵提取神經網路透過Arm NN可以進行高效剖析，然後匯入NEON或GPU，這讓我們針對所有的關鍵階段，都能達成高效的平行執行(圖2)。
圖2 人臉辨識執行步驟
Always-on階段使用一顆Arm Cortex-M處理器執行，處理來自低解析度感測器的輸入訊號，並在偵測到場景變化時，把系統喚醒；此一場景變化的偵測，會對在Cortex-A73上運行的RGBD相機資料處理，進行閘控。
更高品質的人臉偵測可移除偽陽性，且詐騙偵測使用深度資訊，確保人臉不會只是一張照片。人臉經偵測後，資料將饋入身份辨識階段，其為設計用來針對每個身份擷取獨特特徵的先進神經網路。驗證階段確認人臉是裝置中已登錄的人臉之一，並確認用戶的身份；而使用Arm NN，自然地把各階段移至正確的IP。我們不妨仔細檢視每個階段的功能，以及它們對整個解決方案有何貢獻。
喚醒階段
大多數現有的喚醒方式，都需要與裝置進行實體互動。為了讓行動使用更加無縫順暢，此一方式可以用其它感測器的低電力分析加以取代，以偵測用戶是否有意開始使用裝置。
運動感測器是選項之一，但是當裝置放在口袋裡或袋子中，可能會因為錯誤的喚醒而產生電力消耗的風險。因此，本文選擇使用低解析度相機來偵測顯著的場景變化，原因是手機上鎖後的前置相機，在使用前的一刻，通常只會看到一片黑暗，或是靜止不動的天花板。
使用低解析度感測器來進行影像擷取，並用Cortex-M處理器進行影像分析，可以讓喚醒階段偵測出有趣的特徵，同時在Always-on耗電水平內進行運作。這些特徵可以靠執行背景減法，並依背景擷取強度值的直方圖差異，輕易地進行辨識。此一階段設計用意為低延遲，並藉由使用低成本的Cortex-M處理器，來觸發解析度較高的光學感測器，並開啟人臉檢測階段。
人臉檢測
針對此一階段，我們選擇執行經過訓練的支援向量機(Support Vector Machine, SVM)分類器，並用梯度直方圖(Histogram of Gradients, HOG)當成特徵提取器。與另一種Viola&Jones方法相比，這種方式經證實可產生較少的偽陽性偵測，同時仍可在Cortex-A上進行即時運作。
每張梯度直方圖都是從使用16×16像素的資料段所擷取的8×8像素儲存格，且資料段的間隔為8個像素。每個儲存格的直方圖大小，可以支稱9個bin(0~180度)，而且最後的特徵向量在每個視窗大小內，將可支撐數個序連特徵。
最後，每個視窗的特徵資訊會傳送至SVM分類器，而它也將檢測人臉是否出現在此一視窗內。分類器經過LFW影像訓練過，而且藉由提供可以接受數量的真實反例，如此一來便可證實已經能顯著減少偽陽性偵測(圖3)。
圖3 執行經過訓練的SVM分類器可顯著減少偽陽性偵測
此一方式在使用NEON的Compute Library已經主要執行，而這也是降低這個階段整體延遲的一個好選項。正常來說，特徵擷取會進行多次運行，每一次都會讀取視窗內相對應的強度值，ACL則以更有效率的方式處理，透過預先定義HOG參數，每個儲存格都會計算一次特徵向量，並儲存在裝置上。
隨後，大小不同的數個視窗，每個都可以用來讀取相對應的記憶資料段，而且藉由平行運行多個SVM分類器，可以更快速地預測人臉座標，要辦到這點，需要訓練數個SVM分類器，且每個分類器都對應特定的特徵長度。
當然，要訓練分類器，必須相對應地調整訓練資料的大小，原因是每個SVM(總共有六個)是針對特定的特徵向量長度接受訓練，且視視窗的大小而定。不過，由於不必再重覆從像素值擷取特徵，使用上述的方法可降低運行時間的延遲。此外，依據輸入影像的解析度選擇所要的視窗大小，可以免除整合金字塔表示法的需要。最後一步我們則透過非極大值的抑制，來排除多重檢測。
拿ACL人臉偵測的延遲，與針對256×256影像以Dlib在4個Arm Cortex-A73、時脈調為2.36Ghz的處理器運作兩相比較，結果只花了一半的時間，就可以達成類似的結果(ACL：15毫秒對比Dlib：30毫秒)。最後，在ACL人臉監測執行的前端，建立了Python綁定(Binding)，讓它可以輕鬆與管線進行整合。
反詐騙步驟極為關鍵
在把人臉影像匯入生物特徵提取器之前，反詐騙是極為重要的安全步驟。在這個階段，我們把應付兩個關鍵安全議題的詐騙偵測資料段整合進去；利用照片或影片詐騙用戶身份。
四個最受歡迎的詐騙檢測演算法類別，分別是運動分析、紋理分析、影像品質分析，以及如紅外線感測器等主動方式。不過，由於此次使用的是RGBD輸入感測器，於是採取使用深度資訊的方式來辨識真臉與假臉。帶出反詐騙模型最大的挑戰，在於缺乏公共資料庫，因此我們搜集了自有的真臉與假臉反詐騙資料庫，並對系統進行訓練。
真實的人臉利用各種變數進行擷取，如不同的採光環境與姿勢，以及戴上或不戴眼鏡的情況；假臉則從各種不同的顯示監視器與照片進行擷取，以模擬2D的人臉詐騙攻擊。
為了辨識出詐騙攻擊，透過RGB偵測出的人臉座標會從人臉偵測資料段，饋入反詐騙資料段。依據這些座標，我們裁切從深度空間(2D距離的矩陣)偵測到的人臉，並跟之前一樣，利用同樣的HOG參數提取特徵。
最後，已經在我們客製化資料集中接受訓練的SVM分類器，會利用區別真實與虛假的人臉，防止非法的系統存取。倘若人臉被判定為假臉，我們會拒絕該用戶，並避免管線剩下的運行；如果判定是真臉，人臉會饋入2D仿射轉型資料段。針對反詐騙階段，再次執行HOG與SVM ACL，因為此一解決方案提供加速運行與結果(圖4)。
圖4 反詐騙是執行人臉辨識十分重要的步驟。
對準人臉
倘若用來訓練與測試的臉部影像修補，可以對準成常見的角度，人臉辨識與驗證系統的效果會更好。此一對準動作，可以讓生物特徵系統專注在人臉的外表，而不用特別應付不同的姿勢。
雖然我們預期用戶在人臉驗證過程中會直視相機，但藉由人臉對準的變換，我們提升了生物特徵提取器的堅固性，並排除了資料集內的姿勢變異。在對準人臉的作業中，深度學習技術顯現出大有可為的結果。不過，我們最後選擇了一個有效且運算成本較低的解決方案，以將管線的延遲降至最低；先用特徵點偵測器來提取特徵點，隨後依據這些點，用2D仿射變換(Affine Transformation)對準輸入的人臉。
在無限制的環境下，要把人臉特徵點局部化是件極具挑戰的任務，原因是它會出現許多令人混淆的因素，如姿勢、堵塞、表情與照明；特別是這些因素會對人臉的外表以及人臉局部特徵狀態，產生顯著的影響。
在我們的情況中，針對五個特徵點進行追蹤，並依集成迴歸樹(Ensemble of...