AI人工智慧的浪潮一波波襲來，帶動雲端儲存、大數據分析等新商機崛起，但隨著更大量、即時的資料吞吐量，傳統雲端架構已逐漸無法負荷如此龐大的運算需求。邊緣運算(Edge Computing)有助於降低傳統雲端架構的運算負荷、提升邊緣端的數據與資料處理能力，大幅改善運算效率以及數據應用。根據研究機構預估，2018~2022年全球邊緣運算相關市場規模的年複合成長率將超過30%，吸引許多廠商競相投入布局。
與雲端運算相較，邊緣運算更加無所不在，不僅應用領域廣泛，產業投資較小，也與台灣產業型態更加契合，邊緣運算將因為物聯網(IoT)蓬勃發展，扮演更明確、更高價值的角色，該技術可以處理複雜的工作，也可以負擔簡化的運算，端視它配置的運算資源和分析軟體，如果邊緣裝置無法立即處理，還是可以透過雲端來接手。本次活動邀請相關技術領域的研究單位與廠商擔任講師，剖析邊緣運算架構、專用加速硬體、產業發展趨勢與應用前景。
從集中到分散式的運算結構
物聯網發展與成長迅速，相關裝置更是高度成長，產業研究機構資策會MIC研究指出，全球具自主反應功能的IoT主動式裝置(Active Device)在2015年時共有129億個，其後一路成長至2020年將突破212億個，2025年時預計進一步成長至342億個。資策會MIC資深產業分析師兼專案經理施柏榮(圖1)說，以具備IoT功能來加以區分，預計2021年，具有IoT功能的主動式裝置已達50%，2025年預計達到62%，顯示全球有愈來愈多的裝置具備數據感測、資料蒐集、資料互聯的功能。
再者，全球主動式IoT裝置數量2015年，約有28億個，2019年為IoT裝置數量首次超過全球人口總數的年份，2020年更將挑戰100億個大關，2025年則預計達到215億個，是2020年的兩倍之多(圖2)。施柏榮認為，全球人均IoT數量(全球平均每人所擁有的IoT裝置)，2020年為1.3個、2025年將達2.69個，意味著當年全球每人將有近三個能夠蒐集環境數據的裝置或設備，與人類的日常生活更加密不可分。
資料來源：資策會MIC整理(12/2018)
物聯網的發展將產生資料的洪流，數據的處理與使用成為未來幾年亟需解決的問題，施柏榮指出，終端設備所處的位置，將產生不同類型的數據使用情境。而邊緣人工智慧(Edge AI)是在物聯網邊緣位置上，執行機器學習推論(ML Inference)並處理來自終端的數據與資訊的運算服務，達到降低雲端負載、終端立即回應的效果。
邊緣運算的重點在調整過去雲端運算的集中式(Centralized)結構，轉變為以分散式(Distributed)運算為核心，賦予近終端的節點，也可以進行運算、分析、決策等功能，施柏榮強調，除了解決網路壅塞，資料處理延遲等問題，邊緣運算並非是要取代雲端運算的功能，而是重新定義、優化雲的架構。Edge AI的運作在Cloud、Edge、Thing之間皆產生非常緊密的交換與連繫，彈性化架構是運作的重點。
邊霧運算強化雲端彈性
若以技術發展的角度來觀察，邊際情境智慧(Edge Intelligence via Ambient Computing)，定義上就是遠離雲端而靠近面對消費者的裝置那一端，須具備一定的運算與智慧產生能力，能就近處理感測所產生的資料。資策會物聯應用系統中心副主任王秉豐表示，既有雲端架構無法滿足物聯網離線處理、資料隱私、即時回應等需求，導入邊霧運算架構可解決雲端運算面臨的問題，增加使用彈性，解決不同系統間資源共享與再利用的需求。
邊霧運算的技術架構有幾個特色，包括：多樣性與異質性的挑戰，可以通過服務和設備的抽象層來解決；應用程序和資源管理緊密合作，提供複雜的互聯網服務，並自適應地分配邊緣/霧端資源；邊緣資源註冊、識別和控制介面，將是改善網路和服務可擴展性的方法。
而邊霧系統架構未來幾年的發展將遭遇挑戰，王秉豐說明，包括可擴展性(Scalability)、複雜的互連網(Complex Inter-networking)、動態和適應(Dynamics and Adaptation)、多樣性與異構性(Diversity and Heterogeneity)等，邊霧運算將建構更彈性化的IaaS基礎架構，改變既有數據傳輸、儲存模式甚至網路運算計價模式。
邊緣運算應用多樣廣泛
而從應用的角度來觀察，AI將深入各行各業、各個角落，根據產業研究機構資策會MIC研究指出，AI將成為基盤性技術，全球人工智慧的科技支出，2016年約為4.5億美元，但預計於2020年達到192.8億美元、2021年更將突破達到289.6億美元，顯示全球公私領域皆將人工智慧視為科技研發投入的重點，並將逐漸導入應用以強化自身競爭力。
資策會董一志提到，AI應用無遠弗屆，穿戴式裝置就是典型的邊緣裝置，智慧手環與手表的功能有：健身計步、睡眠偵測、心律測量、精準定位等，隨著消費者需求的成長，最新的Apple Watch已經導入跌倒偵測，類似的個人健康與保健功能將持續出現在各式智慧穿戴裝置，並結合更多AI邊緣運算的技術，達成隱私、即時與智慧化的需求。
邊緣運算專用晶片引發卡位戰
AI的熱潮在過去幾年帶動雲端運算的高度成長，同時也帶動資料中心用的記憶體、處理器(High Performance Computing)、高頻寬傳輸介面等的發展，而方興未艾的邊緣運算，也促使晶片廠商大舉投入相關的專用加速硬體的開發，安馳科技專案副理謝秉志(圖3)表示，嵌入式的機器學習(Machine Learning)解決方案有幾個特性，透過軟/硬體可配置特性因應快速變化的深度學習網路，而且可以針對高效能與低功耗彈性調整，支援深度學習網路任意精度的調整，並以即時運算創造低延遲，在不同的應用上可以彈性的進行差異化。
可編程元件一向以彈性化的配置見長，在AI應用上，依然延續這類特點，而為了節省運算資源，可以支援最小1bit的資料寬度INT 1運算，跟32位元的運算比起來，可以大幅節省硬體資源。而在深度學習網路中，剪枝(Pruning)也成為邊緣運算的發展重點，透過演算法簡化網路的複雜度，將影響學習準確性較小的節點刪除，讓深度學習網路模型可以被裁剪為結構精簡的模型，且網路修剪前與修剪後維持相似效率。
使用深度壓縮(Deep Compression)工具可以有效提升深度學習網路的效率，謝秉志進一步說明，深度學習網路整體效能將獲得改善，大致說來，可將網路節點縮減成1/3，資料傳輸的頻寬需求剩下1/10，網路模型規模剩下1/10，運算效能提升3倍。
而目前在AI領域領先的GPU大廠NVIDIA，同樣看好邊緣運算的發展，也提出轉移式學習(Transfer Learning)工具，該公司技術行銷經理蘇家興(圖4)指出，這是一個將整體網路優化的工具，流程上是先提出已訓練過的模型，加入新的資料，透過轉移式學習的流程，包括剪枝、場景改編(Scene Adaptation)、重新編碼，最後可以產生一個高精度符合應用場景的模型。網路剪枝不是只有縮減模型的複雜度，而是優化整個深度學習網路，經過轉移式學習流程後，模型可縮小6.5倍，但網路效率可以提升2倍。
深度學習優化有撇步
目前網路上開放共享的深度學習網路模型很多，如何利用別人已經訓練好的模型來達成自己的目標，逢甲大學電子工程系副教授陳冠宏(圖5)建議，可以先看這些模型跟自己的訓練目標有沒有一致，如果差距不大就可以透過剪枝、截斷(Truncation)、權重分類(Quantization)這些方法，加入自身的情境，讓這些網路經過壓縮之後，可以更加符合自身的應用情境，節省訓練的步驟。若是這些訓練好的模型分類與應用不符，則深度學習網路模型就需要重新訓練。
AI的訓練與推論耗費許多運算資源，因此將AI放在邊緣如何提升效能，且不犧牲太多準確率，成為邊緣運算的發展重心，陳冠宏認為，模型壓縮、高平行性(High Parallelism)與資料重複使用是目前多數人認同的方法。AI既然是模仿人類的神經元運作，未來AI晶片的發展趨勢就是直接開發神經網路晶片，在深度學習網路的運算上會最有效率。
AI專家系統價值高
AI的核心能力包括推理、知識、規畫、學習、交流、感知、移動和操作物體等，AI的發展讓電腦具有人類的知識與行為，並且具有解決問題的能力，能夠儲存記憶、了解人類所說的語言等。大同大學智慧物聯網研究中心主任鄭福炯(圖6)指出，專家系統(Expert System)就是AI領域裡，在80~90年代最重要的發展，可以透過電腦系統模擬人類專家決策能力，並表現人類專家的技術。是由知識基礎加推論組合而成。
應用在醫療系統的AI化中是專家系統最具體的例子，由許多資料與資深醫師共同建構的診斷系統，對於病情的研判準確性超過單一醫師的研判，尤其是年輕資淺的醫師，醫療的專家系統不僅能縮小醫療的城鄉差距，也能有效提高醫療水準，降低誤診率。對於AI的發展，有人提出未來可能高達50%的工作都會被機器取代，鄭福炯則認為，這樣的看法誇大了AI的負面價值，應該著眼在AI發展帶來的許多新機會與趨勢，抓住新的機遇才是不被浪潮淘汰的根本之道。
