人工智慧(AI)已逐漸走入大眾生活。AI應用正逐漸滲透到各種領域，例如農漁業、金融、工業還有各式消費性電子產品中。
AI結合物聯網(IoT)時代已然到來，然而AI應用種類各異，各有千秋，不同的應用領域要求的AI技術也不盡相同。為了搶攻龐大的AIoT商機，並實現各種AI創新應用，各大AI晶片供應商不僅持續提供可實現高效運算的解決方案，同時也朝更靈活、彈性的架構發展。
滿足多元應用 AI晶片朝靈活架構發展
AI快速成長，生活智慧化的變遷顯而易見，而要如何在變化多端AI市場中搶占商機。面對AI的迅速發展，未來已不能倚靠單一架構滿足所有應用需求；在傳統的硬體設計方式及設計週期漸漸趕不上AI演算法的推陳出新之時，靈活、彈性的平台架構便應運而生，以滿足AI應用需求。
AI應用推陳出新 賽靈思力轉靈活彈性平台
賽靈思(Xilinx)大中華區業務副總裁唐曉蕾表示，AI應用相當多樣化，且屬性多不相同。也因此，在資料、記憶體結構、效能和精度上等方面都會出現客製化需求。以精度為例，有些應用需要99%甚至是99.9999%的精度，但有些應用則需97%的精度便已足夠。然而，97%和99%的精度雖然只差2%，但在運算資源需求上卻有著相當大的差異，因為要提升精度，須花費相當大的人力、物力和時間。也因此，在AI應用朝多元發展的態勢之下，為使運算時間、資源更有效率，應用業者不再只朝「最好」、「最強」發展，而是朝「最適合」，客製化需求由此而來，也因此，需要更彈性、靈活的設計平台。
賽靈思全球人工智慧市場資深技術專家張帆也指出，AI商業應用迅速增加，資料量以指數型成長，現有的運算架構已不敷使用。另外，由於各式AI創新應用不斷展露，也因此AI相關的訓練與推論呈現百花齊放的狀況，可說平均兩個星期到一個月就有一個全新的演算法提出，因此，更需要新一代具高效能、且彈性靈活的架構來因應此一狀況，滿足AI演算法和應用。
為此，賽靈思便積極轉型，將自身定位成靈活、彈性的系統平台供應及服務業者，而不再只是單純的可編程技術/硬體供應商，例如之前所發布的Versal ACAP平台便是其中一個例子。
賽靈思工業、視覺、醫療與科學市場總監Chetan Khona(圖1)說明，Versal ACAP結合許多創新成果，讓軟體開發者、資料科學家及硬體開發者都能自行加以編程與最佳化，以跟上AI的快速演進；且能讓開發者創建專用領域架構(DSA)，在不使用新晶片的狀況下就能自行著手開發客製化演算法。
Khona認為，網路邊緣的AI需要在效能、功耗及售價等因素之間取得理想的平衡點；而該公司的Edge AI解決方案能透過先進的量化以及剪枝(Pruning)技術克服此一挑戰。將網路量化為INT8與更低的單元，再搭靈活應變的架構，能讓系統層級效能提高約2倍，或發展出更具競爭力的技術；而剪枝技術則能將網路最佳化，在不犧牲精準度下達到更理想的效能、延遲、能源效率以及成本。
CEVA確保硬體/軟體編程彈性
CEVA客戶行銷及AI策略資深總監Yair Siegel(圖2)則表示，當今的AI應用市場相當分散，沒有一種設備可以滿足所有需求。不過，雖然說各種產品和應用對處理器性能要求都不盡相同，但相似之處皆在於希望能夠利用演算法上的簡單更新，來因應市場變化。所以AI解決方案要保持一定的靈活性，且還須要關注軟體的可編程性，才能使AI產品從研究、設計時期就能平穩地進入量產階段。
因此，AI處理器的研究重點在於，演算法精確度與侷限於電池及成本因素的硬體最佳化。換言之，便是能否僅利用設備電池的小量電量，在有限的硬體區塊上執行最新技術。
Siegel指出，為此，CEVA備有用於邊緣深度學習的專用低功耗AI處理器「NeuPro」，可實現高效的硬體加速性能，同時仍保持可編程解決方案的靈活性，且憑藉軟體即可輕鬆升級，以滿足廣泛的終端市場需求，包括物聯網、智慧手機、監控、汽車、機器人、醫療和工業等。除此之外，CEVA還與演算法開發人員合作，讓後者專注於針對網路最佳化，利用設備本身來進行處理。期能讓設備製造商獲得性能更佳的硬體，且還可以快速、多次進行軟體更新。
Siegel透露，簡而言之，該公司的AI解決方案可實現相應的調整，採用全面性的解決方法，不僅能為不同的案例提供可擴展性，並能提供工具和函數庫的自動化以縮短開發時程，同時也兼顧靈活性和效率。
高效晶片仍占一席之地
上述提到，AI應用多元，驅使邊緣運算需求與日俱增，應用開發商與半導體業者皆積極將深度學習或機器學習導入前端設備，希望使前端裝置也有人工智慧的能力；而要滿足多樣化的AI產品，除了靈活多變的架構外，高效的運算也是不可或缺。
英特爾齊備邊緣運算方案
英特爾(Intel)業務暨行銷事業群商用業務總監Alex Cheng(圖3)表示，AI+AIoT是目前相當熱門的話題。在AI興起之後，前幾年產業多是發展「AI Training」；然而，當模型Training好之後，下一步便是導入實際應用，而IoT裝置即是個很好的應用目標，像是監控攝影機、視覺檢測裝置等，都已陸續引進AI。也因此，AI+IoT必將是日後的發展方向，同時也具備很大的潛在商機，成為兵家必爭之地，為此，英特爾也積極布局，備有各式解決方案。
例如不久前所發布的全新視覺加速器設計產品(Intel Vision Accelerator Design Products)，強化邊緣裝置AI推論與分析能力。此一解決方案包含Intel Movidius視覺處理器與Intel Arria 10 FPGA，皆以OpenVINO軟體工具套件為基礎，提供開發者在多種Intel產品中使用進階的神經網路效能，在物聯網裝置中運行更具成本效益的即時影像分析和智慧化功能。
英特爾指出，用此一視覺解決方案的企業，不論是在資料中心、現場部署伺服器或於邊緣裝置內採用深度學習人工智慧應用，深度學習推論加速器皆可擴充至其需求程度。
除此之外，為更進一步擴展AI終端市場，英特爾近期也再度推出用於智慧邊緣的高密度系統單晶片處理器「Intel Xeon D-1600」。此一處理器是高度整合的系統單晶片(SoC)處理器，專為功耗和空間有限的密集環境而設計，其結合內建的Intel QuickAssist技術和Intel虛擬化技術，可為虛擬化網路功能(VNF)，控制平面和中階儲存解決方案提供更上一層樓的工作負載優化效能和硬體增強安全優勢。Intel Xeon D-1600處理器最多可支援8個核心。
添加DSP指令集 RISC-V處理器效能大增
搶攻AIoT市場，晶心科技則是推出其32位元A25MP和64位元AX25MP RISC-V多核處理器，該兩款產品為具備完整DSP指令集的商用RISC-V核心，並具備對Linux對稱式多處理(SMP)架構的支持，且在被廣泛使用的28奈米製程下能運行高達1.2GHz，這讓RISC-V處理器的性能提升到更高的水平以應用到更廣闊的市場。
對許多處理例如語音、音頻和圖像等數位訊號的嵌入式應用，僅使用通用型指令集是不夠的，為此，晶心科技指出，新推出的RISC-V多核處理器添加了DSP指令集，並包含了編譯器、DSP函式庫和模擬器等完整支援工具，大幅提升處理器效能。
此外，A25MP和AX25MP可支持多達四個CPU核心，能在各CPU的第一級快取記憶體之間維持有效率的快取一致性、並包含可選配的共用第二級快取記憶體控制器、也支援與無快取主控器間的記憶體一致性管理。同時，隨著A25MP和AX25MP的推出，晶心科技先前已發布支援Linux和浮點運算的32位元A25和64位元AX25也同時升級支援DSP指令集。
晶心科技總經理林志明表示，AI應用種類繁多，要在這競爭激烈的市場中占有一席之地，晶心的布局策略便是將旗下產品「做深做強」。推出具備DSP指令集的RISC-V核心，提高產品效能，滿足更多高效運算需求，這便是「做強」。至於做深，則是意指推出更多、更廣的產品，像是單核、雙核或是四核心的處理器；這不僅是讓客戶擁有更多選擇，同時也是因應AI分眾化趨勢，針對不同的應用需求推出不同規格的產品。
