相較於AI雲端訓練領域的蓬勃發展，邊緣推論則像是一片含苞待放的花園，各式各樣爭奇鬥艷的花朵準備盛開，智慧物聯網AIoT應用破碎化，很少有一個應用可以像過去主流應用一樣每年創造數億或10幾億出貨量的產業規模，每個應用的需求又各自不同；不過，業界估算整體AIoT產業的規模至少數十億甚至上百億，邊緣推論晶片未來幾年產業發展潛力十足。
目前人們生活中的絕大部分應用都需要機器學習(Machine Learning, ML)及邊緣運算解決方案，如語音辨識、人臉識別、符號偵測與定位、車牌辨識等。大多數應用場景需要即時的用戶互動與反應，強調能在地處理解決問題，而毋需將數據傳遞到雲端並進行運算，透過邊緣運算可以降低雲端運算的負擔，也可以解決延遲性、安全性和可靠性的問題。
AI聲音/影像應用推陳出新
由於AI演算法與處理器能力持續提升，超高影像解析度(Super Resolution)、準確的物件偵測(Object Detection)、影像分類功能(Images Classification)、快速的語音翻譯功能(Speech Translation)在過去一年獲得大幅進展。Arm首席應用工程師沈綸銘(圖1)提到，AI為使用者帶來更好的使用體驗。例如超高影像解析度能讓使用者掌握影像細節，大幅提升觀賞影片的體驗；Avatars效果能讓使用者在自拍時使用有趣的即時動畫效果；相機的智慧夜拍模式，則讓光源控制更輕鬆，在低光源下拍攝也能媲美日拍一般清晰；此外運用生物辨識技術的臉部辨識與解鎖功能，能讓消費者使用手機付款時更安全更便利。
沈綸銘進一步提到，除了超高影像畫質能提升觀影體驗，AI也能強化整體的聲光環境，例如偵測影視內容所需，調整或放大聲量，或者對應室內光線環境，調校顏色對比與鮮明度；還能為家中有小朋友的家長把關，當偵測到電視前方有小朋友，電視會自動停止播放不適合的影視內容，以上這些功能或多或少都有AI的協助。
觀察AI專用晶片進程，沈綸銘認為，未來產品將朝向分眾市場發展，根據各式需求，像是算力、功耗、軟體大小、軟體開發框架等而有不同的發展趨勢。以嵌入式系統為例，市場上需要在少量功耗增加下提供有效率的運算處理。相對的，以自駕車系統為例，市場上則需要可延展的AI運算加速器，以及通用性的軟體開發。
邊緣推論講算力拼省電
卷積神經網路(Convolutional Neural Network, CNN)是這波人工智慧技術發展的起點之一，也是目前發展成熟度最高的技術，其對影像辨識效果最佳，應用也非常廣泛；過去幾年在指紋辨識領域取得領先地位的神盾(Egis Technology)，也將原先的核心技術與AI結合，神盾新技術研發處副總經理林郁軒(圖2)表示，以智慧型手機指紋辨識功能為例，透過邊緣AI的協助，在辨識時毋須喚醒應用處理器也無須聯網，對整個系統的耗電與反應速度大有幫助。
神盾從指紋辨識起家，為了優化指紋辨識的效能而導入AI，再從指紋的影像辨識往人臉、行為、動作等各式影像辨識技術發展，林郁軒解釋，邊緣運算尤其是行動終端或AIoT類的產品，除了算力還會比較每瓦的TOPS，導入AI也不能犧牲電源效率，這應該也是未來邊緣推論晶片競爭的重點。以神盾現在的解決方案來看，每瓦約可提供1~2TOPS算力，預計年底將提升到3TOPS，2021年則將推出20TOPS的解決方案。
未來幾年，對於ASIC廠商而言，與客戶深入溝通，將需求明確定義，是非常重要的關鍵，林郁軒認為，這樣才可以透過專用演算法與電路的設計，提高晶片的每瓦TOPS。而在推論的精度上，一般而言精度越低效率越好，所以也有滿多設計會導入可調式精度架構，讓精度與效率可以依應用調整。
AI系統效能為更可靠指標
針對AI算力已經成為效能指標的代名詞，在台灣可以被稱得上是人工智慧「獨角獸」的耐能智慧(Kneron)，該公司董事長劉峻誠(圖3)指出，算力就跟CPU的處理速度一樣，只是AI晶片的運算能力，並不能代表整個系統效能，一味追求TOPS或是每瓦TOPS的數字表現，容易陷入迷思。耐能於2019年推出KL520晶片，具備「可重組式人工智慧神經網路技術」，會根據不同任務進行重組，減少運算複雜度，保證在不同的卷積神經網路模型上的使用，無論是模型內核(Kernel)大小的變化、模型規模的變化，還是影像輸入大小的變化，都能保持高效率使用運算(MAC)單元。
劉峻誠並提出「Edge AI Net」的概念，透過AI晶片，能夠將生命賦予終端設備，實現去中心化、離線本地處理、主動智慧等目標。一般而言，目前的AI網路如CNN、遞歸神經網路(Recurrent Neural Network, RNN)或長短期記憶(Long Short-term Memory, LSTM)網路，都是由卷積、剪枝(Pruning)與矩陣乘法器組成，耐能的晶片可以因應不同應用需求進行網路重組，所以一款晶片可支援多個不同網路架構，並組成Edge AI Net，讓算力共享，而能達成1TOPS算力，創造3TOPS效率的效果。
2020年下半年耐能計畫推出新款的AI晶片KL720，具備可堆疊式設計，可因應網路效能需求大幅提高算力，也不放棄個別晶片的每瓦TOPS，同時進一步將Edge AI Net概念具體實現，以「Kneo」的名稱推廣其智慧物聯網AIoT概念。從2019年發表KL520開始，已經有數百萬顆晶片的出貨量，未來這些產品都將是一個網路節點，有機會成為AI時代最具影響力的架構。
邊緣推論晶片大發生
在PC與行動通訊時代，最後都只剩少數晶片大廠主導市場，如英特爾(Intel)、AMD與高通(Qualcomm)、聯發科(MTK)。AI目前是百花齊放的時期，會不會延續之前的發展模式還很難研判，但競爭的激烈程度可以想見；恩智浦(NXP)AI晶片專注於邊緣運算晶片和終端產品晶片。恩智浦半導體大中華區業務行銷資深經理黃健洲表示，於邊緣運算和閘道，提供如i.MX處理器和Layerscape處理器並加強NN/ML加速器運作為目標，提供更快的反應時間，而毋需連接到網際網路執行機器學習推論並提高隱私和安全。
除了開發人工智慧晶片外，恩智浦還打算為使用者提供完整的生態系統，建立開發環境，推出邊緣智慧(eIQ)SDK工具，用於收集資料庫和開發工具，建構MCU/MPU的機器學習應用程式，如i.MXRT10xx與i.MX8M Plus應用處理器。
而在行動通訊時代取得重大成功的Arm，同樣積極發展AI解決方案，沈綸銘說，Arm Cortex-M55是該公司人工智慧能力最強大的Cortex-M處理器，基於Arm v8.1M架構、內建Arm Helium向量技術CPU，可大幅提升終端數位訊號處理(DSP)與機器學習效能，並高效節能，搭配基礎機器學習與神經網路推論的多元能力，先進的記憶體介面，能以更快的速度取得機器學習所需的數據與權重，具備Arm TrustZone安全技術，加速PSA認證的取得速度。
另外，Arm Ethos-U55是一款microNPU，提升體積受限的嵌入式與物聯網裝置之機器學習推論能力，具備先進的壓縮技術、減少電力消耗並縮小機器學習模型尺寸，並可以搭配Cortex-M系列處理器，如Cortex-M55、Cortex-M33、Cortex-M7、Cortex-M4等。
