全球已從PC和手機邁向物聯網(IoT)與人工智慧科技時代，AI+IoT(AIoT)應用興起，掀起新一波典範轉移。智慧機器時代已然來臨，人工智慧普及化，其中包括自駕車、無人機、機器人等具備自主判斷、學習能力等機器。半導體應用仍扮演核心角色，是電子系統邁向AIoT裝置的關鍵技術。
工研院產業科技國際策略發展所產業分析師范哲豪(圖1)表示，目前AI晶片的發展呈現少量多樣的發展模式，各式各樣的創新應用日新月異，但是殺手級應用尚未登場。根據IC Insights的統計數據可以看出，在全球半導體設計業產值及排名統計中，營收前10名的廠商裡，高成長率的NVIDIA、AMD和賽靈思(Xilinx)產品皆與AI正相關。另外，2019年全球半導體設計產業產值雖受中美貿易戰影響，但據IC Insights預估，2019年產值將達1,257,5億美元，年成長率6.0%，AI仍是產業發展的重要驅動力。
現在各國政府皆已高度投入AI技術發展，根據工研院產科國際所統計，日本現已投入了560億台幣的資金在AI相關計劃中，另外美國投入了463億台幣，中國則是4.5兆台幣，韓國也有1.5兆台幣的投入。由此可以看出AI技術發展勢在必行。
范哲豪指出，由於AI須要進行邏輯思考，並做出判斷決策，故運算量相當大，但也因此導致功率與成本高居不下，目前廠商都先從高價產品開始導入，但是要全面普及仍須找出新興架構降低功耗與成本才行。從功率方面來說，雲端AI晶片的功率大約是100W以上，邊緣端則是20~100W，終端裝置AI晶片的功率則約是10~20W。因為雲端運算有安全性的疑慮，同時功率又高，而終端裝置的功率相對較小也較為安全，產品種類分散，市場機會更多，因此有愈來愈多的廠商投入終端裝置的新興AI晶片設計。
建築/城市/家庭與個人為三大應用場景
從現在趨勢也可以發現，在裝置端導入AI功能是大勢所趨。其中AI終端運算可以分為三大應用場景，分別是建築(Building-scale)，如工廠內部影像辨識、機器人控制、機台數據分析、預測維護等；還有家庭/個人方面的應用，如智慧音箱、智慧家電、AR/VR頭盔等；以及城市(City-scale)，如自駕車、無人機、自走載具、街頭監控系統等。而影像、語音機器數據為主要的運算型態。
范哲豪進一步說明，現階段裝置端AI運算晶片產業仍存有一些挑戰，產品少量多樣，在矽智財(CPU+AI Engine)、人事成本、EDA工具和光罩方面的進入門檻高。同時廠商缺乏關鍵AI技術，又無力投入新興架構的研發設計。另外，部分廠商缺乏軟硬系統整合能力，導致產品競爭力不足。在設計方面，除了省電之外，還有小尺寸、價格考量、高效能運算等需求。
為解決此問題，范哲豪列出裝置端AI晶片所須要導入的新技術，須有可重組之半通用AI晶片架構，根據特定應用所需的類神經網路架構找出通用處並將其硬體化；還有以封裝形式將各類AI晶片異質整合，藉此在價格與晶片效能上取得平衡；以及在記憶體內的AI運算方式，進而克服處理器須要花費大量時間和能耗才能從記憶體中獲取資料的瓶頸，透過直接在記憶體中運算提高速度與效率。
針對培植台灣裝置端AI晶片能量，范哲豪也提出七項策略，一是群策力，例如藉由產、學、研攜手成立的「台灣人工智慧晶片聯盟」(AI on Chip Taiwan Alliance, AITA)，匯集鈺創、聯發科、廣達、台達電等國內外逾50家指標性半導體與ICT廠商，以及國內大學及工研院等國家級研發機構，共同建構AI生態系、發展關鍵技術、加速產品開發，並聚焦於終端裝置用AI晶片(圖2)；二是注重創新，針對通用AI晶片、異質整合AI晶片、新興運算架構AI晶片與AI晶片軟體編譯開發，提供次世代AI關鍵智財解決方案；三是建立標準，建立驗證平台與介面整合標準；四為建置場域，協助建立系統整合之示範性應用；五是做到更加注重隱私與資料安全，利用AI的發展減少人力資本，並透過AI在終端裝置的運算保障資安與隱私；六則是借助外力，站在巨人的肩膀上，鏈結雲端平台業者，如微軟(Microsoft)與Google等公司；最後一項，應利用台灣半導體領先優勢開發AI晶片，維持半導體產業的全球領先地位。
AITA聯盟執行秘書暨工研院光電系統所副所長張世杰表示，全世界具備了半導體發展能量的國家都已經投入大量資源在AI晶片技術的發展，而台灣身為半導體強國，在這樣的競賽當然不能缺席。
張世杰指出，目前AI晶片市場呈指數型大幅成長，而AI晶片大致可以區分成通用型晶片及專用型晶片，專用型的AI晶片應用於特殊領域，並可進一步細分為用於雲端、邊緣或是在裝置端與感測器相結合的晶片種類。台灣適合發展的市場就是專用型裝置端AI晶片，再針對專用型裝置端AI晶片進行分析，又可分為傳統架構以及仿腦神經的新興架構、新興記憶體，仿腦神經的專用型裝置端AI晶片將會是台灣發展AI晶片的新大陸。另外，目前在仿腦神經的專用型裝置端AI晶片市場已有布局的廠商為IBM、英特爾(Intel)、MYTHIC、Syntiant等。
裝置端AI晶片即時可靠更安全
裝置端AI晶片具備幾項優點，具即時性能夠馬上反應、即時辨識，適用於人臉辨識開鎖功能或自駕車應用；具可靠性，可以排除網路斷線的可能，在自駕車或無人機領域十分受用；而資料不須上傳雲端，便能保障使用者的隱私，在安全監控與健康管理等方面可以守護個人資料不外流；同時，裝置端AI晶片也能客製化，透過裝置端學習，滿足客製化需求，實現語音辨識、智慧眼鏡等應用。
針對裝置端AI晶片的安全性，微軟大中華區物聯網方案負責人林孟洲表示，約在2000年左右科技發展從雲開始，之後進入物聯網，再利用IoT收集到的資料進行AI的分析，而現在AI應該要走入裝置端，而不是一直停留在雲端。人工智慧的領域應該分為雲端的智慧與裝置端的智慧。裝置端的智慧具有很大的產業動能，將發展成一個巨大的市場。物聯網一直以來被詬病的，就是當連接的數目達到幾百萬、幾千萬時，將非常容易成為攻擊的目標，將安全、邊緣與AI連結在一起將是發展的機會所在。因此，「AI on chip」就成了一個非常重要的議題。對此，微軟也提出了相對應的解決方案Azure Sphere，整合經認證的MCU(Certified MCU)和作業系統(OS)以及安全服務(Security Service)，Azure Sphere OS內含微軟客製化的Linux核心，並結合安全技術及安全監視器，志在建立一個安全的IoT平台，讓物聯網更安全可靠。
最後，張世杰進一步說明台灣發展裝置端AI晶片的優勢，由於台灣具記憶體產業能量，與記憶體和新興記憶體整合設計將是提升AI晶片效能的重要關鍵。台灣國內有多家廠商能生產製造記憶體，是發展AI晶片的優勢之一。
而裝置端AI晶片直接針對數據進行處理，是資安與隱私保護的重要防線，台灣能徹底落實資訊安全防護，於國際合作中更容易建立起良好的信任感。另外，預期未來物聯網(IoT)裝置所使用的控制晶片多數將內含AI加速晶片。台灣過去具有豐富的IoT裝置製造經驗，未來若結合AI晶片共同發展，將在國際競爭上更具優勢。
