舉例來說，如ILSVRC影像分類競賽(圖1)，在這場競賽中即是使用一種稱為機器學習(ML)的人工智慧─AlexNet早在2012年就贏得這場競賽，成為第一個使用深度神經網路和GPU來進行訓練的模型；而ResNet-152在2015年的影像分類競賽中亦擊敗人類。
電腦優於人類的其他範例還包含遊戲，表1中的範例是機器擊敗人類冠軍以及人類仍較優秀的非競賽情境。
機器學習無疑為智慧家庭、智慧零售、智慧工廠和智慧城市之類的應用情境帶來全新美好的必要功能，且現今各種企業都能利用這項技術。運用此技術的相關機器學習雲端服務供應商有亞馬遜(Amazon) AWS、SageMaker、微軟(Microsoft) Azure ML和Google Cloud ML，而這類機器學習雲端服務的成長都極為驚人。
邊緣執行ML流程簡化
直到最近，因為推出各種運算和儲存資源，機器學習的重心都集中在執行大量集中式電腦中心的雲端，其快速移轉至邊緣有以下幾個原因：
．雲端處理、儲存空間與頻寬的成本無法將資料傳送到雲端，以執行人工智慧功能的決策。
．較完善的使用者體驗需要在邊緣進行快速的人工智慧功能決策。
．隱私權和安全性考量會限制在雲端中儲存的資料類型。
．提升可靠性。
以上這些因素讓邊緣無庸置疑成為機器學習處理許多應用的顯著位置。這也是半導體廠商推出運用專屬高效能機器學習加速器之應用處理器的原因之一，像恩智浦(NXP)的i.MX 8M Plus使用14nm FinFET製程技術，提供高效能與低功耗，並具備雙鏡頭ISP在內的各種新功能，可支援兩個低成本的HD相機感測器或一個4K相機感測器，以執行臉部、物件和手勢辨識的機器學習任務。其中也整合獨立800MHz Cortex-M7來支援即時任務與低功率、H.265和H.264的影片編碼和解碼、800MHz HiFi4 DSP，以及用於語音辨識的8PDM麥克風接口。工業物聯網功能包含Gigabit乙太網路與時效性網路(TSN)、兩個CAN-FD介面和ECC。
另一方面，資料科學家正為在邊緣上部署的資源限制裝置最佳化特定演算法，進而協助加速移轉到邊緣。MobileNet是由Google開發的影像分類演算法，著重在高準確度，同時又能大幅減少所需的運算資源數量。圖2中顯示處理過程中大幅減少的趨勢。從VGG-16模型到MobileNet v2模型的轉變讓在邊緣所需的運算數量減少50倍，協助在邊緣的資源限制硬體解決方案，執行複雜的機器學習處理。
同樣地，使用行動電話在邊緣執行MobileNet v1比起在雲端中執行MobileNet v1的速度明顯更快，此差異的成因是將雲端網路延遲降到最低，而網路往返延遲的新增範圍可以輕易橫跨200毫秒到超過1.4秒(大幅延遲回應時間)。該演算法的目標是達低於100毫秒的回應，以即時向使用者顯示(圖3)。
以下是i.MX 8M Plus支援的應用程式，這些應用程式會在邊緣執行機器學習。如圖4所示，這些使用案例都需要特定層級的效能來判斷需要哪種層級的執行硬體。這就是應用處理器須具備專屬機器學習加速器的主因。
因為上述原因，便可較易理解為何要在邊緣執行機器學習應用。然而，必須符合幾個額外需求才能順利完成部署：
・機器學習開發人員的生態系統─讓實作變得簡單。
・硬體安全性─保證隱私權與安全性。
・全新、創新的混合SoC架構─提供符合成本效益的解決方案。
・可擴充和安全的邊緣部署─讓部署變得容易。
打造適用於機器學習部署的全面性生態系統
機器學習應用的重大突破需要結合設計與部署的生態系統來負責處理任務，這也是半導體業者打造創新邊緣智慧工具環境的原因，以恩智浦eIQ為例，該工具支援各種機器學習處理元件，包含Arm Cortex-A和Cortex-M處理器、圖形處理器(GPU)、DSP和機器學習加速器。eIQ機器學習軟體環境包含推論引擎和程式庫，兩者皆利用開放原始碼機器學習技術中的改善技術，像是TensorFlow Lite、OpenCV、CMSIS-NN和Arm NN；而針對較熱門的i.MX RT應用處理器，則透過適用於MCUXpresso和Yocto(Linux)的開發環境進行評估，為應用開發過程提供順暢的支援；在物件偵測和語音辨識中的範例應用程式中會隨附eIQ軟體，作為邊緣機器學習的起點(圖5)。
確保邊緣安全性
邊緣的安全性至關重要，其所需的功能包含安全啟動信賴起點、晶片內建加密、安全布建、相互裝置驗證、安全裝置管理、OTA或無線安全更新與生命週期管理。為了支援這樣的安全性，半導體業者打造了可擴充的EdgeLock組合，其中包含安全元件、安全驗證器和應用處理器的嵌入式安全以及MCU。像是i.MX 8M Plus具備進階EdgeLock嵌入式安全系統(含資源網域控制器、信任區、HAB、加密啟動、使用RSA的公開金鑰加密與橢圓曲線演算法)，其可為邊緣節點提供完整性、驗證確實性和隱私，並提供從邊緣到閘道和雲端的安全性。
AI/ML領域更迭不斷 加速人們生活便利性
人工智慧領域的變化步調正逐漸加快。如圖6來自「2018年人工智慧指數」和Monster.com所示的圖表呈現深度學習職缺方面的趨勢。
至於圖7則顯示在公司盈餘會議中提到人工智慧和機器學習的次數。
人工智慧與機器學習為電腦產業中帶來劇烈的改變，這樣的改變可使人們的生活更便利完善。新應用處理器如i.MX 8M Plus將能引導領人們移轉到邊緣，進而加速邁向更美好的未來。
(本文作者為恩智浦半導體人工智慧與媒體技術長)
