AI走出資料中心 產業應用價值浮現
AI在本次物聯網共創峰會中，無疑是最熱門的議題之一，從工業製造到零售，再到醫療、能源產業，每個主題論壇幾乎都有機器學習(Machine Learning)、神經網路(Neural Network, NN)這類AI關鍵字。這也顯示各產業未來的日常運作，都將或多或少使用到AI技術。
不過，目前絕大多數的AI推論都是在雲端資料中心上執行，對許多產業應用而言，這種系統架構未必符合需求。因此，直接在嵌入式裝置上執行模型推論的邊緣運算架構，成為許多產業評估AI部署方式時的首選，也連帶使得低功耗AI處理器/加速器方案成為半導體業者不能缺席的重要戰場。
英特爾物聯網事業群(IoT Group)副總裁Jonathan Ballon(圖1)表示，許多基於AI的新應用出現，使得物聯網架構出現轉變。在過去，AI運算只發生在資料中心或雲端，這意味著如果某種應用需要AI功能，必然要仰賴雲端來提供。但現在AI正在從雲端走向終端，走進實體世界。
在過去4年，GPU在AI領域取得巨大成功，特別是在資料中心跟演算法訓練上，由GPU和CPU組合而成的異質運算架構，無疑是最主流的解決方案。不過，這只是AI發展的第一個階段，在這個階段，人工智慧演算法在ImageNet這類固定、已知的龐大資料集進行訓練，證明自己在圖像辨識上的能力可以超越人類。
但這些技術上的突破，距離產業應用跟創造價值，還有一段距離。就以圖像辨識為例，對產業應用來說，這項技術真正的價值在於用機器判讀沒有看過的圖像，並取得正確的判斷結果，也就是AI推論。
英特爾觀察到，在過去12個月，不同領域企業已經把重點轉向這個領域，例如智慧城市、醫療、工業製造相關企業。然而，這些從物聯網蒐集而來的不特定資料，因為種種原因，大約有45~50%無法上傳到雲端，自然無法在雲端進行推論。因此，這些資料的處理、分析跟推論，必然要在本地端執行，也就是所謂的邊緣運算。
在邊緣運算的情境中，GPU未必是最理想的處理器選擇，因為很多應用情境不會允許設備內有散熱風扇這類可動的零部件，或是功耗預算極為有限，無法支撐GPU運作。因此，邊緣運算的異質化程度會比資料中心更高，除了CPU、GPU之外，還有各種專用加速器存在的市場空間。
但Ballon認為，隨著邊緣裝置的運算能力越來越強，「訓練在雲端，推論在邊緣」的狀況會出現變化，有些AI的訓練也可能在邊緣直接進行。
機器視覺結合AI最成熟 模組方案搶食升級商機
在各種AI應用中，機器視覺結合AI是進展速度最快的領域，而且可以發展出來的應用功能也最多。以零售業為例，從店鋪內的人流偵測、貨架上的商品存量檢查，甚至商品是否放錯位置，都可以用AI搭配機器視覺來檢測。在製造業，AI加上機器視覺最主要的應用則是生產線的品管檢查。在智慧城市、醫療等領域，AI結合機器視覺的應用也越來越多，從交通流量偵測、自動停車到判讀醫學影像等。
要讓這些應用加快普及，強大的開發工具是非常重要。為此，英特爾已經推出OpenVino開發工具，並免費提供給開發相關應用的客戶。這項工具支援CPU、GPU、FPGA與Movidius等各種硬體處理器，讓應用開發者可以把運算任務配置給最適合的處理器核心或加速器，提升應用的執行效能。該工具支援目前業界常用的各種框架、模型，還有大量的演算法參考範例，可以讓應用開發的速度明顯提升。
但除了軟體工具之外，硬體本身的效能也必須跟著提升，才能讓機器視覺結合AI真正落實到各種應用上。英特爾近期發表的Myriad X視覺處理器(VPU)，本身的封裝尺寸僅8×8mm，卻具備4TOPS運算效能，且功耗低於2瓦。對許多機器視覺應用來說，1顆Myriad X的效能已經相當足夠，但如果應用需要更高效能，該VPU還可支援雙路到八路不等的配置。由於研華是英特爾的重要合作夥伴，因此在英特爾發表該VPU之際，研華已同步推出搭載單VPU的板卡模組，未來研華還會提供搭載多路VPU的模組。
英特爾和研華有很深遠的夥伴關係，而且彼此有共同的願景。例如英特爾的Market Ready解決方案和研華的物聯網應用解決方案(SRP)，在本質上就有許多類似之處。這使得英特爾跟研華能在許多領域進行深度合作，甚至在產品還沒正式發表前，就進行共同研發。
AI模組大軍蜂擁而上
模組方案對加快AI走向真實世界的速度相當關鍵。如果沒有模組方案，已經部署到現場的設備將難以就地升級，只能汰換成新設備。但如果有模組卡，既有設備只要有保留介面，就可以立刻升級。以單VPU的模組為例，研華的模組卡就是採用業界標準的M.2規格；搭載多路VPU的模組，則料將採用mini PCIe或標準PCIe。
研華網路通訊事業群協理林俊杰指出，對應用或設備製造商而言，晶片只是關鍵零組件之一，如果應用開發商要獨力將晶片整合到設備上，需要投入相當的設計研發人力，產品開發的時間也會拉長。因此，市場對AI模組解決方案的需求，可望隨著AI從雲端走向邊緣裝置的趨勢而提升。
不過，物聯網應用本質上是一個多元而分散的市場，因此對推論運算的需求也會有所出入。有些嵌入式裝置可能需要非常高的運算能力，功耗預算也比較寬裕，採用GPU或FPGA擴充卡會是可行的選項。有些嵌入式裝置對功耗的要求比較嚴格，運算效能的需求較低，這時候加速器模組方案會比較有吸引力(圖2)。
因此，除了和英特爾合作推出搭載Myriad X的模組外，研華跟索思未來(Socionext)、瑞薩(Renesas)、賽靈思(Xilinx)、NVIDIA等晶片業者，也保持密切合作的關係，並已陸續推出搭載上述晶片商產品的模組或板卡，以協助各家應用開發商快速將AI推論功能導入到產品中。
