人工智慧(AI)的技術日益成熟，須要處理的資料量也不斷增加，因此邊緣運算(Edge Computing)形成時下主流，大廠紛紛加速布局邊緣AI。於Computex 2019可以看到Arm、NVIDIA、美光(Micron)等皆展現了各自在邊緣AI的實力。
Total Compute大策略全力釋放AI潛力
現在人工智慧核心平台開始邁向異質化時代。現在的智慧型手機已經內建許多人工智慧和機器學習(ML)的基礎功能，包括即時影像擷取、人臉辨識等，Arm IP產品事業群總裁Rene Haas(圖1)於Computex 2019論壇中，發表「全面運算引領AI成長」(Scaling AI Through Total Compute)主題演說。探討AI運算在各個市場所面臨的複雜挑戰，以及Total Compute解決方案為何能夠同時滿足AI效能提升與應用開發的需求。
目前在全球大約14億支的智慧型手機中，仍然約有85%的手機是將機器學習的工作負載交由CPU或者CPU+GPU執行的。而根據Arm對AI處理器工作負載的研究，為達成更佳的應用效能和使用體驗，發揮AI和ML的優勢，未來智慧型裝置的AI運算核心，將以CPU為中心，再整合運用GPU、類神經網路處理器(NPU)、資料流處理器(DPU)、現場可編程邏輯閘陣列(FPGA)等運算資源。
從產業轉型方面來看，軟體也邁向碎片化，不論是自動駕駛、5G引爆的邊緣伺服器需求、AI型穿戴裝置和虛擬實境(VR)、擴增實境(AR)、高畫質遊戲體驗、5G智慧手機等，都帶來超高的運算效能與智慧功能要求。此外，安全也是一項極大的考驗，前述各種市場領域的設備與裝置，都儲存了大量的個人資訊，沒有人希望竊取個人機密資料的事件再次發生。
Haas指出，這些大規模運算流程、跨處理元件的運用、安全保護要求，以及特定領域運算vs通用運算等，都將讓應用開發變得越來越困難且成本越來越高，市面上太多不同軟體的選擇，造成開發人員/生態系統碎片化的擴大，增加了推動裝置AI化的困難。
針對上述的AI運算與體驗挑戰，Arm提供從系統整體出發，結合硬體矽智財(IP)、軟體架構和最佳化工具，一次解決未來運算複雜性的全面運算解決方案。一方面，Total Compute解決方案能以CPU為任務控制核心，再透過System IP確保AI運算的工作負載能達到最佳分配。例如影像搜尋作業由NPU執行，將比CPU更快、更有效率。再加上Arm的GPU、ML處理器、顯示處理器、Arm NN架構等，將能協助開發人員全面釋放AI效能。
另一方面，Total Compute為開發人員提供了一個更容易運用的未來生態系統。碎片化的軟體和開發人員生態系統，除面臨需提升各種裝置的存取效能以推展AI應用的挑戰外，複雜的運算又進一步提升效能的需求，因此為了能讓AI應用輕鬆擴展到不同的環境中，Arm藉由快速、簡單、成本更低的Total Compute解決方案。提供一個統一的開發途徑。Arm所開發的軟體架構充分運用Arm IP以及Arm NN、Arm Compute Library、Arm Development Studios和Arm Mobile Studios，有效加速產品開發的上市時程。
Haas總結未來新的工作負載是以使用案例為設計基礎的，要解決未來的複雜性挑戰，必須從根本上最佳化硬體、軟體、平台安全性和工具。整個AI產業面臨著極大的挑戰，而CPU軟體生態系統將有助於開發人員拓展邊緣的AI體驗，Arm透過Total Compute策略涵蓋的軟硬體和生態系統，幫助開發者跨越各個市場領域，加速提供5G時代的全新體驗。
NVIDIA EGX加速運算平台讓決策更即時
隨著人工智慧技術逐漸成熟，相關企業積極布局AI邊緣運算。因應此潮流，NVIDIA在Computex 2019發表了EGX加速運算平台，讓企業能在邊緣執行低延遲的即時(Real-time)AI作業，能針對5G基地台、倉儲、零售商店、工廠與其他作業站間龐大且不間斷的資料串流進行接收、分析並即時採取行動。
NVIDIA產品行銷經理Paresh Kharya表示，為了實現不同的工業應用，如智慧影像辨識分析系統(IVA)、資料中心(Data Center)、嵌入式系統(Embedded)和汽車等等，NVIDIA推出了EGX加速運算平台。現在的資料量越來越大，所有的分析必須是立即的，才能即時做出決策，因此即時邊緣AI的重要性也顯得更加重要。
Kharya舉例說明，在醫院，可以利用即時邊緣AI協助醫生做出醫療診斷；在智慧城市(Smart City)的應用，也可以用來辨別車輛，進行分析決策，藉此控制車流，達到疏通壅塞的目標。NVIDIA EGX平台將加速AI運算的力量帶到了邊緣，讓智慧零售、醫療保健、製造業、運輸和城市都具備更即時的AI運算能力。
另外，EGX擁有強大的擴充性，小至體積極小的NVIDIA Jetson Nano，以僅僅幾瓦的耗能就能提供如影像辨識等任務所需每秒五萬億兆次浮點的運算(TOPS)；規模亦可大至一整櫃的NVIDIA T4伺服器，為即時語音辨識和其他即時AI任務提供超過10,000兆次浮點運算的效能(圖2)。同時NVIDIA EGX在架構上支援雲端提供的NVIDIA AI運算。在雲端開發的AI應用程式可以在NVIDIA EGX上運作，反之亦然。內含EGX的NVIDIA Edge Stack可以連接到雲端IoT服務，使客戶能從AWS IoT Greengrass和Microsoft Azure IoT Edge遠端管理他們的服務。NVIDIA EGX也具備了企業級的安全保障，NVIDIA的AI和運算技術結合了Mellanox、Cisco等大廠的網路、儲存和安全技術，進而實現更高階的隔離和安全性，同時又不會影響CPU的效能。
美光積極布局AI 促進強化邊緣運算
預估全球傳輸、儲存、分析的數據量將於九年內成長十倍，至2023年時將達到103ZB。面對如此龐大的數據量，如何將其轉化為資訊並從中挖掘有用的洞見將是一項難題，而人工智慧在數據分析的過程扮演要角。美光於Computex 2019上，表示將積極布局人工智慧領域，並讓運算更靠近邊緣。
美光運算與網路業務部門資深副總裁暨總經理Thomas T. Eby(圖3)表示，美光本身就是人工智慧應用的最佳案例。透過導入人工智慧至生產廠區，美光得以增加生產良率、促進工作環境安全與提升整體效能。美光導入人工智慧打造智慧製造，所得到的成果包括達到成熟良率的時間縮短25%、提升晶圓產出10%以及不良率減少35%，效果顯著。
同時，Eby也提到，隨著運算越來越異質化，人工智慧在邊緣運算的重要性就更高。以前的資料中心以CPU為中心，現在則趨向異質化，有CPU、GPU、FPGA等，在邊緣運算已經是大勢所趨。美光提供全面的解決方案，讓運算更靠近記憶體，甚至在記憶體中運算，以配合現在資料中心的需求。
Eby進一步指出，根據美光委託Forrester訪問建構人工智慧平台的工程師和IT專家的結果顯示，開發人工智慧系統時，首要考量並非運算，而是如何打造記憶體與儲存架構以滿足龐大運算需求。報告中有超過九成的受訪者表示，記憶體與儲存架構攸關開發人工智慧系統的成敗，儲存與記憶體吞吐量的重要性更勝於運算，且運算與記憶體間的距離越來越近。
在自駕車的記憶體需求方面，Eby也表示，未來每輛L5級自駕車，將會配置8~12個解析度高達4K~8K的顯示螢幕，而為了支援V2X連結，記憶體每秒需處理0.5~1TB的數據量，在車內娛樂系統方面，記憶體頻寬需求每秒也將達150~300GB。未來自駕車將會像飛機一樣有黑盒子，以每30秒持續錄製片段，紀錄車內外狀況，因此記憶體頻寬需求每秒也達到1GB。此外，在車輛生命週期中，會重複寫入的數據加起來將有150PB(Petabyte)，所以對記憶體與儲存的效能與耐用性要求會特別高。
