人工智慧(AI)在經過幾年熱潮後逐步落地，過去強調AI準確性的做法，轉變為追求效率，而「算力」似乎成為AI晶片效能最容易理解的指標，TOPS(Tera Operations Per Second)或TOPS/w慢慢成為產業共識，儘管構成算力的條件很多，AI執行效能也非僅從算力就能完全判定。進入所謂AI 3.0的時代，資料運算複雜性持續提升，但希望在有限的資源下達成最佳化管理的目標，算力就是系統效能最初步/簡易的判別指標。
另外，AI針對不同場景與任務，可以分為雲端(Cloud)與邊緣(Edge)、訓練(Training)與推論(Inference)，為了提升效能表現，這四類工作走向專用與分流，處理雲端訓練的晶片依然強調運算能力，希望能以資料處理量為重點，然而在另一端的邊緣推論則可犧牲部分精度，以求在最低的功耗下獲得可接受的結果，在強調運算與講求耗電的兩種需求就像是光譜的兩端，加上雲端推論與邊緣訓練，為AI晶片畫出四個明確的專用分流路線。
AI晶片分流專用成趨勢
1TOPS代表處理器每秒鐘可進行一萬億次(1012)運算。每秒浮點運算次數(Floating-point Operations Per Second, FLOPS)是每秒所執行的浮點運算次數，代表AI網路資料處理能力。整數運算則是使用在推論上，8位元整數(INT8)逐漸成為邊緣推論的主流，工研院產科國際所產業分析師范哲豪(圖1)認為，準確度更高的INT16與INT32，只出現在某些特殊應用，部分單純的應用更僅要求四位元或二位元精度。
根據2018年中國清華大學的「2018人工智慧晶片技術白皮書」，將AI晶片分為三類，第一類是經過軟硬體優化可高效支援AI應用的通用晶片，如GPU、FPGA；第二類是專門為特定的AI產品或應用而設計的ASIC晶片，主要側重加速機器學習，尤其是神經網路、深度學習，目前智慧物聯網AIoT的終端應用出現越來越多這類晶片；第三類受生物腦啟發設計的神經形態運算晶片，這類晶片不採用經典的馮紐曼架構(Von Neumann Architecture)，模擬人類神經元的運算模式，可以大幅提升算力。
大致說來，第一類通用型AI晶片是以雲端訓練為主，代表性廠商就是NVIDIA、Intel、Xilinx、Qualcomm這類大廠。第二類專用型的晶片以邊緣推論為主，廠商則是百花齊放，老將與新星並陳，許多原來發展ASIC的廠商與乘著AI浪潮興起的「獨角獸」都發展這類晶片。范哲豪提到，第三類神經網路晶片則是未來趨勢，像IBM或美國國防高等研究計畫署(DARPA)，還有一些學校、知名技術實驗室已積極研發相關技術。
科技產業投入AI晶片前仆後繼
AI晶片是2019年半導體的投資熱點，工研院資通所嵌入式系統與晶片技術組長盧俊銘(圖2)指出，雲端以訓練為主，邊緣推理應用廣泛，因此出現雲端有訓練，邊緣有推理的說法，許多新創業者嶄露頭角；而處理器龍頭Intel繼2016年4.08億美元併購Nervana之後，2019年底再度以20億美元併購以色列AI晶片廠商Habana，同時擁有CPU、GPU、FPGA、AI專用推論與訓練晶片，具備最完整的AI產品線，展現進軍此領域強大的決心。
范哲豪強調，AI演算法、運算力、資料是AI三大要素，所以Google、Amazon、Microsoft、Facebook、阿里巴巴、百度等網路服務大廠也積極投入開發資料中心伺服器專屬的AI晶片或邊緣處理器。另外，恩智浦半導體大中華區業務行銷資深經理黃健洲(圖3)說，AI雲端晶片特點在於運算和圖形處理能力，並提供安全的客戶解決方案、應用和設備管理環境；邊緣端的優點則是保障隱私、改善用戶體驗、高可靠性的應用需求。
而訓練則是透過量化等為更精確的訓練模型生成提供動力，訓練模型經過非常縝密的計算而且時間密集。黃健洲認為，需要更多資料遷移和AI引擎被創造出來為RTOS或低功耗電池平台提供輕量與靈活的訓練模型，以導入邊緣運算。推論(如Arm推出的Arm NN、Arm CMSIS-NN、OpenCV等)的趨勢則以提高卷積、匯集、動作等功能。
AI新架構成長期發展重點
為了提高AI晶片效能，算力成為關鍵指標之一，范哲豪解釋，傳統的CPU採用序列式運算，AI處理器則著重平行式運算，AI的運算與資料關係密切，資料介面頻寬成為運算的瓶頸之一，於是近來有更多解決AI運算時資料存取瓶頸的技術被提出，包括升級記憶體頻寬、讓處理器與記憶體靠的更近的近記憶體運算(Near Memory Computing)、運算單元與記憶體整合的記憶體內運算(In Memory Computing)等。
多年來資訊運算與處理都是依循傳統的馮紐曼架構，運算與儲存單元分開，范哲豪進一步說明，無論是CPU、DSP或GPU都是單獨處理運算，需要資料再從記憶單元呼叫，而在AI發展的過程中，運算單元不斷提升處理能力，資料匯流排頻寬沒有隨之擴充或追不上運算提升的程度，AI運算需要在運算同時取用資料，為了使AI運算最佳化，重新發展晶片的架構或材料，讓運算與記憶體的取用更即時，成為技術研發的方向。
目前常見的作法是Near Memory Computing，像NVIDIA的NVLink高速GPU互連技術，可以提升GPU的互聯頻寬與記憶體的取用速度，提供50~200GB/s的頻寬。或者是減低記憶體與處理器連線距離的設計如晶圓堆疊(Wafer on Wafer, WoW)，讓處理器取用記憶體可以更直接、迅速。
In Memory Computing就是從架構層面徹底革新，如新創公司Mythic利用類比運算來執行快閃記憶體陣列中深度神經網路(DNN)推論所需的計算，在NAND Flash記憶體內執行類比運算，能在單一個NAND記憶體單元中儲存8位元的數值，並以較高的準確度規格來模擬數千個類比數位轉換器(ADC)。該公司的解決方案只鎖定在8位元整數值，其宣稱算力高達每瓦10~20TOPS，相較之下現有AI晶片每瓦算力多在10TOPS以下。
Syntiant目標是讓任何設備都能輕鬆使用語音控制功能，其神經決策處理器(Neural Decision Processor, NDP)沒有傳統處理器架構的限制，使用模擬神經網路，該網路可透過極高的記憶體效率達到極低功耗，並有大規模並行乘法累加計算的能力。Syntian聲稱，該架構效率是傳統數位儲存架構效率的50倍左右。Rain Neuromorphic藉由奈米線連結的憶阻(Memristive)材料模仿人腦神經元運作的方式，是一種神經形態晶片(Neuromorphic Chip)。
設計工具協助AI晶片更快上手
AI晶片等同於產業的未來，高度成長性吸引許多廠商投入，邊緣推論領域有許多新創廠商懷抱理想，希望能在AI領域開創一片天，但沒有晶片設計經驗如何將構想變成現實，Cadence亞太區系統解決方案資深處長張永專(圖4)表示，借助IC設計工具，可以將構想實現為IC電路。AI晶片與一般晶片類似，皆透過架構(Architecture)、驗證(Verification)、實現(Implementation)等階段，並透過多次的設計遞迴(Design Iteration)最佳化電路，讓晶片可以展現最佳效能。
而AI晶片越來越強調電源效率，包括每瓦TOPS與每秒FLOP都是設計的重點，也因為算力越來越被重視，所以許多晶片都使用先進製程，而且在Design Iteration階段晶片效能的強化就是重點，張永專說，IC設計工具最主要的任務就是協助業者進行架構上的取捨，用最少的設計資源完成最有效率的架構。包括設計時程的縮短，曾經有IC設計業者導入設計工具的協助，在短短四個月就完成電路設計。
與傳統的ASIC相較，AI晶片比較強調內部的連結Inter Connect，所以在布局繞線時會需要更多聰明的設計；另外，由於AI目前還在發展當中，常常會有新的AI模型被提出，張永專強調，目前AI晶片沒有統一的架構，而且在邊緣推論的應用上，智慧物聯網AIoT的需求樣態更加破碎，為IC設計帶來更多挑戰，IC設計模擬驗證重要性也更為提升。
邊緣推論晶片為台灣AI主戰場
對於台灣來說，AI是下一個充滿機會與挑戰的新故事，盧俊銘認為，目前看起來雲端訓練發展的最好，而國際大廠也持續投注資源，但是邊緣推論卻是更具潛力的領域，適合台灣IC設計產業；雲端則需要硬體、軟體、伺服器與平台等大量資源發展，已經不是台灣廠商可以競爭的範圍。邊緣推論因為市場破碎化，相對還有許多可切入的空間，以智慧自走載具為例，因為速度與應用環境相對自駕車單純，現有技術可以實現，功能以邊緣推論為主，應用場域包括：工廠、醫院、家庭、倉儲、旅館、餐廳等多個場域，每個領域都有投入的價值。
台灣IC設計產業在投入AI的過程中，希望可以押寶快速放量的明星應用，目前發展最成熟的是機器視覺相關應用，切入門檻較低，盧俊銘說，AI的開發分成系統應用、晶片硬體與演算法三部分，工研院資通所透過以軟帶硬、分層客製化與開源硬體三大策略協助國內產業發展，軟體主要以功能類似EDA的電子系統級(Electronic System Level, ESL)架構設計分析軟體與編譯器(Compiler)軟體；客製化的部分包括只提供架構服務或整體解決方案。
AI是改變人類生活的大趨勢，而AI晶片是這個大勢裡的關鍵零組件，盧俊銘進一步說明，前幾年AI展現的能力讓科技未來出現高度期待，然而在熱潮過去之後，這兩年AI落地，有些廠商會持續發展，從密林裡讓人驚豔的獨角獸變成帶領世界的龍頭，大部分新創團隊則成為一閃而逝的流星，要如何持續往前走確實沒有簡單的解答。AI晶片、演算法、模型、應用等都還在持續發展與演化，無論是雲端或邊緣，訓練或推論都還充滿機會與挑戰。
