人工智慧(AI)蓬勃發展，而AI結合AIoT更是現今半導體產業熱門議題。IoT產品除了要能聯網，同時也須更智慧化，才得以實現更多創新應用；而要讓終端設備變得更智慧，無疑是為其增添AI，這也意味著終端裝置須具備更高的運算效能，才得以在終端先行處理龐大的資料量。為此，邊緣運算(Edge Computing)形成時下主流，各大AI方案供應商也加強布局力道，邊緣運算的軍備競賽可說如火如荼的進行中。
Arm新NPU/GPU系列提升智慧沉浸體驗
從遊戲裝置到數位電視(DTV)，人工智慧現在已經無所不在；但考量到要促成這些回應式的體驗，端點必需具備更強的運算能力。例如，數位電視的智慧型體驗，包括智慧助理語音指令、節目即時翻譯至另一種語言及人臉辨識以強化家長監護。
為了達成這些功能，Arm宣布推出兩個全新的主流機器學習(ML)處理器，分別為Ethos-N57與Ethos-N37 NPUs；以及最新的Mali繪圖與顯示處理器Mali-G57 GPU。新推出的兩款ML處理器，可實現AI應用並在ML的效能與成本、面積、頻寬與電池壽命限制之間達成平衡，而Mali-G57 GPU則是第一個以Valhall架構為基礎的主流GPU，可透過效能提升帶來沉浸式體驗。
Arm資深副總裁暨車用與物聯網事業部總經理Dipti Vachani(圖1)表示，該公司致力於投注領先全球的前瞻技術，全面賦能運算效能，實現更多創新體驗。除了上述新推出的ML處理器與GPU外，該公司也針對全球一兆台聯網裝置打造支援bfloat16功能以強化終端裝置機器學習的Neoverse平台，將AI導入邊緣運算，在終端及雲端發揮數據價值。
Vachani補充，除此之外，因應運算從雲端移至邊緣，該公司也推出能確保雲端原生體驗的Project Cassini解決方案，實現從雲端到終端皆具備完善的智慧運算決策能力，以應付更多元且多變的應用場景。這些方案加總起來，代表Arm有能力依需求調整規模，並把優質的體驗帶入消費者的日常生活裝置中。
據悉，在Arm ML處理器(現在稱為Ethos-N77)發表後，Ethos-N57與Ethos-N37是Ethos NPU系列最新的成員。Ethos為解決複雜AI與ML運算挑戰的產品組合，以便為日常生活裝置創造更為個人化與沉浸式的體驗。
由於消費裝置愈來愈智慧化，因此，透過專屬的ML處理器提供額外的AI效能與效率，有其必要性。為此，全新的Ethos NPU不僅針對成本和電池壽命進行優化，像是先進的資料管理技術，以減少資料的移動與相關的耗電，還進一步強化Int8與Int16資料類型的支援性，並透過創新技術Winograd，讓效能更上一層樓。
至於Mali-G57，主要目的是將優質的智慧與沉浸使用者體驗帶到主流市場，包括高傳真遊戲、媲美電玩主機的行動裝置圖型效果、DTV的4K/8K使用者介面，以及更為複雜的虛擬實境與擴增實境工作負荷。該產品和前一代Mali-G52相比，各種內容都能達到1.3倍的效能密度，且能源效率提升30%使電池壽命更長，以及針對虛擬實境(VR)提供注視點渲染支援且裝置上ML效能提升60%，以進行更複雜實境應用。
Vachani說明，遊戲體驗是行動裝置市場一項重要應用，除了推出效能更高的Mali GPU之外，該公司近期也宣布與Unity擴大合作，藉由將Arm的解決方案放置在Unity平台，讓遊戲開發者可以輕鬆的運用，創建更佳的沉浸式體驗。
布局高效運算市場 SiFive再發新IP組合
不讓Arm專美於前，SiFive近日也於Linley Fall處理器大會上推出全新高性能IP產品組合，其分別為SiFive U8系列核心IP和經過優化的HBM2E+解決方案，滿足各應用領域(如汽車、人工智慧、物聯網等)等終端運算需求。
SiFive首席執行長Naveed Sherwani表示，全新SiFive U8系列微架構的推出是一個重要的里程碑，可擴展的亂序RISC-V處理器可滿足汽車、資料中心和邊緣AI等需求。新推出的IP基於RISC-V指令集架構，是一種超純量(Superscalar)設計，具有可擴展的亂序執行通道(Out-of-order Pipeline)以及可配置的選項，供即時或應用處理器使用，滿足用戶對高效能運算產品的訂製需求。
另外，SiFive U8系列提供每瓦特超過1.5倍的面積效率和性能，而且擁有可運行Linux作業系統的記憶體管理單元，以支援通用應用處理器設計，以及用於關鍵任務操作的即時模式。同時，該產品具有可選的浮點單元、訂製的指令擴展功能和RISC-V向量擴展支援，使其無論是在汽車、AI邊緣或終端應用程式，都可以針對應用案例進行相應的配置和訂製。
至於SiFive HBM2E+ IP，則用於支援運算密集類型的工作負載，包括高性能運算、資料中心和邊緣AI設備中的深度學習處理，不僅易於整合至各式新設備中，並能使用可擴展的介面支援Chiplet設計和性能，進一步優化CPU到記憶體的路徑。
此外，SiFive HMB2E+解決方案已通過先進的7nm技術驗證，可提供高達400Gbps的記憶體頻寬，也就是每個引腳高達3.2Gbps的傳輸速率。與類似容量的DDR類型記憶體相比，HBM的堆疊特性不但占據較小的空間(可實現更小體積)，且能達到更低功耗，且擁有更高頻寬，十分有利於處理密集的深度學習運算。
簡而言之，隨著人工智慧開始往邊緣發展，本地資料處理的效率和速度也須大幅提升，而SiFive新推出的處理器核心與記憶體介面相結合，可滿足各式高運算應用，例如資料中心、汽車系統、工業物聯網(IIoT)、消費性產品等。
NVIDIA新處理器體積/功耗/效能三者兼具
另一方面，NVIDIA則是推出Jetson Xavier NX(圖2)。該產品不僅具備高效運算能力，同時也具備超小體積，其模組尺寸比一張信用卡還小，在運行現代AI作業時可提供高達21TOPS的伺服器等級運算效能，而耗電量僅10瓦，可用於機器人和邊緣嵌入式運算裝置。
NVIDIA邊緣運算部門副總裁暨總經理Deepu Talla指出，AI技術創造出現代的機器人和嵌入式設備，為產業帶來截然不同的發展，但這些小尺寸、低耗電的裝置無法加入更多的AI功能。為此，該公司推出Jetson Xavier NX，讓產品能在不增加體積或耗電量的情況下，大幅提高AI功能。
新推出的Jetson Xavier NX尺寸為70×45mm，可提供高達14TOPS(在10W時)或21TOPS(在15W時)的運算能力，能平行運行多個神經網路並同時處理來自多個高解析度感應器的資料。對於早已導入嵌入式裝置的企業，該處理器與其它Jetson產品一樣在相同的CUDA-X AI軟體架構上運行，確保可以加速上市並降低開發成本。
此外，該產品還提供多組IO裝置，像是從高速CSI和PCIe到低速I2Cs和GPIOs，可相容於眾多周邊裝置和感應器。而在針腳方面，該產品還與Jetson Nano相容，可以共享相同的硬體設計，也支持各大AI框架包括TensorFlow、PyTorch、MxNet與Caffe等。
Talla補充，新產品為嵌入式邊緣運算裝置開啟新選擇，其要求更高的運算效能，但受尺寸、重量、功率限制與成本考量，這些裝置包括小型商用機器人、無人機、用於工廠物流及生產線的智慧高解析度感應器、光學檢查設備、網路錄影機、攜帶式醫療設備，還有其它工業物聯網(IIoT)系統。
綜上所述，隨著AI逐漸走入大眾生活，AI應用正逐漸滲透到各種領域，例如農漁業、金融、工業、智慧城市，以及各式各樣的消費性電子產品之中，終端運算可說勢在必行。為此，各大AI解決方案供應商積極布局可實現高效運算的解決方案，在加快邊緣運算發展的同時，也趁勢插旗AIoT市場。
