DNN

AI人工智慧及5G是被預期下一個十年最重要的技術，工研院舉辦一年一度的ICT TechDay(資通訊科技日)，展示超過20項最新資通訊創新技術，從AI晶片與應用、資訊安全、自駕車與無人機，到5G通訊與邊緣運算四大領域，臺灣在半導體和資通訊產業已有一定優勢，在AI人工智慧與5G物聯網催生下，業者有機會在全球供應鏈搶進核心地位，扮演下世代資訊科技重要角色。 工研院舉行2020 ICT TechDay，邀請重量級貴賓分享ICT產業趨勢。圖左至右為臺灣雲端物聯網產業協會理事長徐爵民、工研院資通所所長闕志克、電電公會理事長李詩欽 工研院資訊與通訊研究所所長闕志克表示，隨著AI人工智慧技術快速發展，AI人工智慧發展重點將從軟體走向硬體，從集中式運算走向邊緣運算(Edge Computing)；工研院從晶片、架構及應用三方面著手，開發AI推論晶片(DNN Inference Chip)、AI推論架構(DNN Inference Architecture)，到DNN Model與應用的AI人工智慧Total solution，為產業提供多元的AI人工智慧端到端解決方案。 工研院研發「AI深度學習演算法」，影像辨識可由類神經網路自我學成，技術精準度超過99% 闕志克認為，5G多元應用所帶動的新市場也備受關注，尤其是5G專網方面。製造業對生產可靠度需求高，精準掌握生產及設備數據，長年都有蒐集智慧發展所需的數據資訊，加上產業上中下游供應連結度強，互動性高，因此，在面對快速少量、彈性、多元製造需求下，運用5G專網發展智慧製造將是製造業者具備差異化的重要工具，也是所有應用場域中最早落實的產業。目前看到5G專網將有三種方式推動，公網、公網白牌化、專網專頻，公網白牌化採用開放架構設備，網通業者及系統整合商將有更多投入的新機會；專網專頻有機會因工廠等智慧場域已普遍採用Wi-Fi系統，可透過Wi-Fi技術升級與5G專網整合，Wi-Fi設備商及提供應用服務的系統整合業者也可望迎來另一波成長的機會。 工研院研發無人機AI美學攝影技術，透過蒐集網美照片整理出多種拍照風格，再搭配AI影像辨識，讓無人機模仿專業攝影師的拍照手法，自動取景拍出最優畫面 在AI相關解決方案部分，ICT TechDay展示「AI深度學習演算法」、「應用程式白名單」、「無人機AI美學攝影體驗」、「自駕車管理系統與運算平台」、「行動邊緣運算系統專網」等20餘項關鍵技術。例如工研院研發 AI深度學習演算法，攜手新創公司邁爾凌科技及遠東集團旗下軟體公司遠創智慧，開發國產AI車牌辨識解決方案，提供關鍵演算法、訓練器打造國產AI軟韌體訓練整合模組，搶攻新市場。

本文概述演算法和架構方面的最新發展，並探討FPGA如何適應不斷變化的環境。 DNN加速部署因應環境變化 當今工業革命的核心是推出許多機器學習(ML)的演算法，尤其是深度神經網路(DNNs)(圖1)。其在電腦視覺與語音辨識領域取得令人印象深刻的成果，且越來越廣泛地應用在其他任務中。DNN首先會透過已標記的資料集進行訓練，後續應用的其中之一是將其他資料進行推論，這個推論的過程通常被稱為部署，即是本文的重點。 圖1　卷積神經網路的基本拓撲結構 與DNN部署相關的大量運算和儲存需求需要加速。此外，根據不同的應用實例，可能會對準確度、成本、功耗、模型大小、傳輸量和延遲有不同的限制。擁有即時性且以安全為重點考量的應用，如AR、無人機控制、自動駕駛等，由於低延遲與資料傳輸量的需求，因此不適合使用雲端。 在雲端運算和ML即服務的環境下，資料中心為成功處理大量的資料，面臨不斷成長的傳輸需求，為能源效率與營運成本帶來更多像是如何降低最多營運費用等挑戰。與嵌入式場景相比，雖然雲端服務延遲不那麼重要，但其仍然會直接影響到互動式應用的使用者體驗，例如Jouppi等學者在雲端服務中，將互動式使用者體驗的回應時間限制為7毫秒。 由於上述這些挑戰，過去數年間不同DNN模型與加速器呈現極速的發展。考慮到應用需求的差異，目前DNN推論作業負載與硬體加速器架構領域的一大關鍵趨勢，為多樣性及快速演進發展。本文將概述演算法和架構的最新發展，並探討FPGA如何適應這種不斷變化的環境。 DNN趨向追求高效推論 DNN通常是由一個或多層建構的前饋運算圖，其中大型網路能夠包含數百到數千層；每一層皆由突觸互聯的神經元組成且都與權重相關。每個神經元運算其接受域的加權和，並且使用非線性激勵函數。電腦視覺通常使用卷積層，其接受域擴展到多個典型的二維特徵圖，這些特徵圖與多個典型的二維過濾器進行卷積，產生如圖2所示的運算虛擬碼結果。 圖2　典型DNN運算的虛擬碼 機器學習框架(如PyTorch、TensorFlow和Caffe)都是基於這些運算圖展示，針對訓練與推論將硬體的運算進行排程與配置。 傳統意義上，機器學習研究的重點是如何提高模型精確度，並沒有特別考量推論的成本。這一點在像AlexNet與VGG這類較為陳舊的ImageNet獲獎網路中表現相當明顯，即便這些網路現在看來規模較大且過度參數化。然而，隨著機器學習和DNN進入實際應用，運算和記憶體需求成為其中一個主要的問題。上述問題激發最近一系列有關如何使DNN推論更有效的研究，同時精準度和運算的複雜度也會成為考量。 以下簡述為提高DNN效率而提出的幾種方法。在大多數情況下，這些方法可被認為是相互獨立且可以組合的，儘管部分DNN可能不太適合某些技術。 高效能拓撲結構 DNN的拓撲結構定義了其包含多少層、每層的類型和大小，以及各層之間的連接方式。一些拓撲結構由構造規則進行定義，該構造規則根據拓撲參數定義大小和層數。近期大量研究都提出DNN可透過緊湊的拓撲結構實現高精準度，例如透過少量的參數、少量的乘積累加(MAC)運算或兩者並用。 最近的範例包括MobileNets、 ShiftNet、ShuffleNet，和Deep Expander Networks，其通常具有可控制精準度與運算量之間權衡的拓撲參數。而FPGA在這方面可以提供獨特的優勢，因為新型運算單元(例如移位和隨機排列)幾乎不需要運算資源，可透過重新配置元件中的可編程設計互連來實現。 量化 DNN通常使用浮點運算進行訓練，但可以使用有限的數值，其通常可以直接量化到8位元(參考圖3)，或者重新接受訓練以使用更少位元(訓練量化)，進而得到量化神經網路(QNN)。量化方案可以是均勻或非均勻的，而根據網路的不同部分可以使用不同的量化方案。使用更少位元數需要更少的運算和記憶體，但可能會導致準確度降低。最近大量資料都提出更好的量化訓練技術。近期的方法如LQ-Nets，已經將浮點和4位元QNN之間的精準度差距縮小到1%以下。 圖3　正弦波3位元量化函數 FPGA內部的可編程邏輯可提供獨特的功能，能夠以非常精細的位元度對運算單元的資源進行客製化，進而提供精確的位數來滿足應用需求。因此，此應用能夠發揮潛力來降低運算與記憶體的硬體成本。 剪枝(Pruning) 神經網路的一部分可以被修剪掉而不會對準確度產生任何重大影響，對於某些層來說，準確度最高可達90%(圖4)。剪枝技術在如何選擇修剪部分(例如透過權值幅度或二階導數)，以及在選擇以何種精度執行修剪(例如單個突觸、相鄰突觸群或用於卷積的整體特徵圖)有所不同。修剪單個突觸會導致不規則的結構，而這些結構只能透過專用硬體來進行有效處理。雖然人們通常選擇較粗精度的修剪方法，但是精細度的修剪方法更進一步提供可與FPGA搭配使用的效能擴展性，進而縮減記憶體子系統，在提供運算引擎所需支援的同時，有效儲存稀疏表示(Sparse Representations)。 圖4　突觸剪枝 層間融合與分解 數學等價或近似可以用來減少DNN層的運算和記憶體需求。例如，批次的標準化操作可以融合到前面的線性轉換層(卷積或全連接層)中。卷積可以用深度可分離濾波器(Filter)來近似表示基於奇異值分解的全連接層。 其他技術則可以使用知識蒸餾(Knowledge Distillation)使高效能模型的訓練變得更加容易。Hoffer 等學者提出將DNN的最終分類層固定到Hadamard矩陣上的方法，該矩陣具有+1/-1的固定模式值，並證明此方法對幾個ImageNet網路的分類精準度沒有影響。 精度/運算之間損益比較實測 神經網路是函數近似器，高品質的近似器(Approximators)比低品質的成本更高。其中，在確定將多少記憶體和運算資源用於執行推論(使用神經網路)，以及所得推論的品質(例如網路對未見輸入影像的類別進行預測時的準確性)之間，需要作出權衡。雖然難以確定資源與精度之間的確切關係，但是透過對具有不同運算要求的神經網路進行訓練並觀察所得準確度，能夠以過往經驗探究其設計空間。 圖5呈現的是設計空間探索的一種結果。(圖中兩軸上的數值越低結果則越理想。)使用不同的量化方案來生成具有不同運算成本(x軸表示為在整體運算中將使用多少FPGA LUT和DSP片的大略數值)和準確度(y軸)的網路。紅線是柏拉圖邊界(Pareto Frontier)與設計點，這些設計點在運算成本和準確度方面都是同類中最好的。在這種情況下，較低準確度的深度網路(ResNet-50，具有2位元權重和8位元激勵)的運算成本與誤率較低，優於較高精度的淺層網路(ResNet-18，具有8位權重和8位激勵)。 圖5　運算成本與使用各種量化網路在ImageNet上排名前5的分類錯誤率 深入推論加速器架構研析發展趨勢 如前所述，神經網路對運算與記憶體的要求可能非常高。例如使用像ResNet-50這類熱門的DNN對每個單獨的輸入影像進行分類需要77億次運算。然而，從優勢來看，本質上DNN的高度平行化，可以加以利用。因此，各種形式的客製硬體架構正在演進發展，以實現這些演算法的部署。 DNN的推論運算包含多個平行級別，如圖6所示。這些平行級別可歸納如下： ・連續層之間的粗精度拓撲平行與平行分支，例如在GoogLeNet或DNN整合中所發現的。 ・層內的神經元和突觸平行，例如多個輸入/輸出特徵圖(IFM/OFM)通道及卷積層中的畫素。 ・當分別查看權重和激勵的各個位元時，運算內部的位元層級平行級別。 圖6　適用於運算DNN推論的平行級別 推論加速器架構前景可期 在為這些運算和記憶體高度密集型演算法優化硬體架構時，會出現以下問題： ・如何進行最佳迴圈轉換和展開，以實現資料重複使用和運算效率最大化與記憶體瓶頸最小化？ ・如何在技術節點縮小導致收益有限的情況下提供效能可擴展性？ ・如何實現即時回應、功耗限制，以便在耗能較高的嵌入式應用場景中進行部署？ 除了標準的CPU以外，特殊應用硬體架構正試圖針對特定的應用限制進行優化，包括GPU、FPGA和AI ASIC。微軟創造了「DNN處理單元」這一術語，也可簡稱為DPU，作為這些客製架構的總稱。圖7描述了通DPU架構，其中典型的「痛點」以黑點標示。 圖7　通用DPU架構中的典型「痛點」 架構可以大致按照運算操作的基本類型、記憶體頻寬、平行級別、專業化程度和既有的準確度支援進行分類。雖然GPU最初是專注於遊戲和繪圖處理，並逐漸應用於高效能運算，但之後也越來越關注AI領域，並且將訓練加速作為其業界標準。 GPU被認為是向量SIMD處理器，如透過NVIDIA Volta系列中引入張量核(Tensor Core)和定點整數運算，為深度學習進行越來越大幅的客製化，尤其是採用NVIDIA最新Turing架構的INT4和INT8。DPU的ASIC解決方案旨在實現硬體成本最小化，並盡可能提升效能，例如Google的張量處理單元(TPU)。如前所述，TPU專門針對張量而不僅只是向量進行運算，並且為了充分發揮量化的優勢，還擁有客製記憶體架構與算數運算。除了TPU以外，越來越多公司正在打造客製硬體，包括Arm、Intel收購的Nervana、MobilEye和Movidius，以及GraphCore、Cerebras、Groq和Wave Computing等眾多新創企業。綜上所述，業界環境正在迅速發生變化。 FPGA在高效DNN的優勢 DNN的多樣性還展現在前面提到的各個平行級別上。因此，對於固定的硬體架構，如果以固定方式傳輸固定數量的平行運算元素，執行DNN的效率就會受到限制。例如，如果為了利用輸入特徵圖和輸出特徵圖(IFM-OFM)平行而建構固定的架構，那麼對於深度可分離卷積來說，可能會降低其利用率。特別是考慮到用來創建高效DNN的技術在快速發展，靈活應變能力是在不斷變化的DNN推斷環境中保持高效率的關鍵。 在這種情況下，業界廠商如賽靈思(Xillinx)FPGA的主要特色在於提供的運算和記憶體資源具有靈活應變能力，並能實現大規模細精度平行。該元件支援多種DPU架構，這些架構能夠充分發揮多個平行級別的優勢，並根據特定DNN拓撲結構的要求和應用根據設計限制進行客製。 在FPGA上運作的Soft DPU可以支援上述配置，並且能為每個特定的神經網路客製顯式記憶體管理及算數運算。 圖8、圖9和圖10提供Soft DPU範例呈現出其架構的多樣性。每種架構的主要特色如下： 對於特定的QNN，FINN可生成客製DPU，其中每一層都有專屬硬體，並採用晶片上通道連接到下一層，但會受到元件尺寸的限制。這樣可以為每一層客製精確度與運算資源，進而實現高效能的設計。層間資料流平行有助於實現低延遲與高傳輸量。FINN是可利用的開源程式碼。 圖8　FINN是一種專用於每層運算資源與層間晶片上資料流Soft DPU 圖9　xDNN是一種具有高度可編程設計與效能優化功能的Soft DPU xDNN是一種具有固定精度的脈動陣列可編程設計堆疊架構。該陣列的規則結構支援高度的效能優化。其提供的工具流能夠將任何DNN應用到該架構，無需生成新的位元流或具備FPGA專業技術，即可將xDNN用於評估。 圖10　BISMO為可支援不同算數運算精度且無需重新配置的Soft DPU BISMO是位元串列矩陣乘法的可編程設計堆疊，其透過序列化位精度維度但平行化其他維度，提供一個固定的架構，不但可以利用運作時的可變精度，同時仍然能夠提供高效能。精度更高的層需要更多的時脈週期(Clock Cycle)來執行，而BISMO為一款開源程式碼。 在摩爾定律終結的驅動下，賽靈思使用的AI架構由具有客製指令集的軟體可編程設計AI引擎組成。此外，基於NoC的互連，在布建資源方面更進一步提升靈活性，這對於提高元件利用率來說至關重要。再者，除了神經網路本身，FPGA還可以提供感測器融合和靈活的I/O；FPGA不僅能夠增加電腦視覺的預處理和後處理，還可以為線上智慧提供整合所需的其他功能，使元件適用於使用者的應用環境。 FPGA架構更迭因應各種挑戰 越來越多的應用採用機器學習演算法，為傳統運算架構帶來巨大的運算負擔。半導體產業透過許多代號為DPU的創新架構來因應挑戰。 其中，FPGA可以發揮關鍵作用，在調整運算架構方面提供高度的靈活性，因此不僅適用於一般的機器學習任務，還適用於特定的神經網路拓撲結構。可編程設計元件可以提供客製演算法，實現儲存和運算資源最小化，進而提供進一步的效能擴展性或針對嚴格的延遲要求進行最佳化。最後，FPGA可以在I/O和感測器融合與電腦視覺的預處理和後方面提供高度的靈活性，有利於滿足客戶需求 (本文由賽靈思提供)

Mentor近日宣布人工智慧(AI)處理器公司Mythic已在Mentor的Analog FastSPICE平台上為其自訂電路驗證與元件雜訊分析進行了標準化作業。此外，Mythic已選用Mentor的Symphony混合訊號平台來驗證其智慧處理器(IPU)中整合類比和數位的邏輯功能。 Mythic公司工程副總裁Ty Garibay表示，Mythic IPU利用類比運算來執行快閃記憶體陣列中深度神經網路(DNN)推論所需的計算。因此需要以較高的準確度規格來模擬數千個類比數位轉換器(ADC)。該公司選擇Mentor的Analog FastSPICE平台，是因為與其他的解決方案相比，它可提供奈米級的SPICE準確結果，以及5倍的生產力提升。此外，全光譜元件雜訊分析則展現了與量測矽晶結果之間有出色的相關性。Symphony混合訊號平台可擴展驗證覆蓋範圍，把IPU中的類比─數位介面涵蓋在內。 Mentor的Analog FastSPICE平台可為奈米類比、射頻(RF)、混合訊號、記憶體和自訂數位電路提供電路驗證。該平台已通過晶圓代工廠的5奈米製程驗證，與平行式SPICE模擬器相比，能以兩倍的速度提供奈米級的SPICE準確度。為了確保矽晶級準度的Characterization，該平台包括全面的全頻譜元件雜訊分析。Mentor的Symphony混合訊號平台是由Analog FastSPICE解決方案提供支援，能以業界標準的HDL模擬器提供快速、準確的混合訊號驗證，並具備直覺式的使用模型、強大的除錯功能以及配置支援，以為複雜的奈米級混合訊號積體電路(IC)提供驗證。

新思科技(Synopsys)近日針對機器學習及人工智慧(AI)邊緣應用推出具備深度神經網路(DNN)加速器的全新DesignWare ARC EV7x嵌入式視覺處理器系列產品。ARC EV7x視覺處理器可整合多達四個強化向量處理單元(VPU)及一個高達14,080 MAC的DNN加速器，在16奈米(nm)FinFET製程技術中能提供高達35項業界領先之先進效能，為ARC EV6x處理器的四倍之多。 此外，新的EV7x設計可整合時序與電源閘控技術，並藉由強化架構而降低耗電。為加速ARC EV7x視覺處理器的應用軟體開發，Synopsys的MetaWare EV開發工具套件基於包括OpenVX及OpenCL C等常用嵌入式視覺標準，提供全面性的軟體編程環境。ARC EV7x嵌入式視覺處理器將高性能視覺引擎及DNN加速器與高產能編程工具結合，適用於各種視覺應用，包括先進駕駛人輔助系統 (ADAS)、視訊監控、智慧居家以及擴增和虛擬實境。 Kudan執行長暨共同創辦人Tomo Ohno表示，EV7x視覺處理器優化線性代數及矩陣數學運算的執行，加速同步定位與地圖構建(SLAM)以及例如AR/VR即時追蹤和自動駕駛定位等相關解決方案的處理，同時提升環境地圖的正確性。透過我們與Synopsys的合作，設計人員能夠運用高效率的SLAM解決方案強化性能表現，且耗電量與記憶體資源需求量均遠低於其他實作方式。 Synopsys新思科技IP行銷副總裁John Koeter指出，幾乎所有的智慧系統都因龐大的運算資料，而必須仰賴晶片來執行邊緣上的快速深層學習處理。新思科技最新的ARC EV7x嵌入式視覺處理器IP具備DNN加速器，結合其全面性軟體環境，可幫助設計人員達成汽車、消費者裝置及行動 SoC設計的最高性能與電源效率要求。

為了確保最終良率，每家半導體業者都必須在晶圓生產過程中安插或多或少的製程控制(Process Control)節點。這些節點除了可監控晶圓製程的良率變動外，也能早期發現有問題的晶圓，避免其進入下一個製程步驟，徒然浪費時間。 然而，製程控制是相當昂貴的，除了要設置對應的檢測機台外，檢測本身也需要時間，更需要人力來判讀機台數據背後所代表的意義。因此，製程控制究竟該如何進行，才能在效率與良率間取得平衡，遂成為每家半導體製造業者都必須回答的問題。 製程資料浩瀚如煙海　AI加快分析速度 台大資工系教授張智星(圖1)表示，對晶圓製造業者而言，從製程機台取得資料只是第一步，後續的資料分析才是能否從資料中萃取出關鍵資訊，進而改善營運、提升良率的關鍵。過去他曾經領導一支研究團隊，利用台積電提供的資料，結合機器學習技術，發展出可自動對晶圓缺陷分布圖進行分類的軟體應用。這項研究的成果，就為台積電帶來很大的經濟效益。 圖1　台大資工系教授張智星表示，藉由機器學習，軟體系統可以自動判斷晶圓缺陷的分布狀況，省下大量人力跟時間。 張智星解釋，晶圓上不合格晶粒的分布狀況，是用來分析製程缺陷成因的重要資料。某些特定的缺陷分布狀態，可以回推出造成晶粒缺陷的原因，例如當不合格晶粒在晶圓上呈線型分布時，晶圓在製作過程中被刮傷，就是最可能的原因。 圖2是幾種典型的缺陷分布型態，對人類來說，這種缺陷分布的圖樣是很容易分辨的，因為其輪廓特徵的差異十分明顯，例如缺陷高度集中在晶圓的某個特定角落、中央或是環狀分布在晶圓的邊緣，而這些圖案之所以出現，跟前面的某幾道製程步驟有關。因此，晶圓缺陷分布圖是製程工程師檢視製程狀況非常重要的工具。 圖2　幾種典型的晶圓缺陷分布狀態 過去台積電的製程工程師每天都要耗費不少時間檢視不良晶粒的分布圖。而隨著台積電的產能規模越來越大，工程師耗費在這上面的時間也越多。張智星指出，根據台積電當時提供的資料，2013年第一季，該公司總共生產了388萬片晶圓，相當於每天產出4.3萬片晶圓。這意味著當時台積電的工程團隊每天得看4.3萬張分布圖，耗費的人力跟時間是相當可觀的。而隨著台積電的產能規模越來越大，這項成本花費只會更高。 也因為如此，台積電很早就開始把腦筋動到機器學習上，因為圖形辨識跟分類，正是機器學習最擅長的應用。若能成功導入，每年可以省下至少100萬美元以上的人力成本。 張智星表示，因為他的主要研究領域是資訊工程，對半導體製程所知有限，因此在與台積電合作的過程中，只專注在圖像辨識上。在他的研究團隊拿到台積電提供的資料集之後，就開始分析，這些缺陷分布圖究竟有那些特徵，是可以被萃取出來的。 其中，最直觀的就是圖形的輪廓，這是人類的眼睛一眼就能看出的特徵。但還有其他不那麼直觀的特徵可以利用，例如雷登變換(Radon Transform)。也可以用統計取樣的技巧來對缺陷圖進行分析，例如對整片晶圓進行2乘2矩陣取樣，然後予以編碼，也能得出有意義的數值。 DNN應用有其限制 不過，張智星也提醒，雖然神經網路是一項很紅的技術，但神經網路不是所有資料分析問題的理想解答。以深度神經網路(DNN)為例，這項技術要能派上用場，先決條件是要有大量的資料集，而且最好是影像資料。其次，必須有非常強的運算硬體支援，不然會跑不動。換言之，如果可以用來訓練神經網路的資料集不夠，或是手上可用的運算硬體效能不足，最好還是別使用神經網路。 此外，DNN還有一個特性，是所有想利用DNN發展應用的開發者都必須注意的--DNN系統雖可產生預測結果，但卻無法解釋這個預測結果是怎麼來的。換言之，DNN只知其然，不知其所以然。如果應用需求不只要預測結果，還要進一步解釋為何是這個結果，最好別使用DNN。了解每個工具的特長，用最適合的工具來解決問題，是很重要的。 設備業者看AI--產品加值/升級的關鍵 由於半導體設備很早就已經實現機台聯網跟資料互通，因此對半導體設備商來說，如何用人工智慧提升機台的產能/稼動率，或是加快新機台研發的速度，是比較關切的話題。 Lam Research副總裁暨首席工程師Keith Wells指出，AI技術已經成熟到可以對產業應用產生影響，而且成本合理的地步。在Lam Research內部，針對AI應用的議題，發展方向比較偏向智慧製造的層面，例如透過其Equipment Intelligence套件，讓機台具備自我感知、自我維護與自動適應的能力。 自我感知指的是機台對於其內部零件具備感知能力，包含零部件的種類與零部件過去、現在的狀態。自我維護則是指機台能知道何時需要維修，並且會自動進行維修。自動適應則是指機台能因應製程跟來料變化自動進行補償，以便把生產良率維持在一定水準之上。 就設備供應商的角度來觀察，半導體設備的智慧化跟晶圓生產的智慧化，是未來必然要走的路，因此整個生態系，包含機台本身、整個晶圓廠與機台零部件的供應商都必須攜手合作，實現資料共享。Lam Research對於以AI為基礎的半導體智慧製造有很強的承諾，並且正與其客戶合作，共同打造能符合未來需求的解決方案，包含更強大的資料存取系統，以及先進分析工具環境。 但對半導體設備供應商來說，最大的挑戰來自於客戶需求的多樣化。每家客戶對於如何利用AI來提高生產力這個議題都有自己的想法，而且彼此之間或多或少有些出入。因此，客戶通常都想要客製化的解決方案。但客製化通常意味著更長的開發時間與更高的開發成本，因此業界必須創造一個大家都能接受的標準化框架，才能加快產品交付到客戶手上的速度。 科磊(KLA-Tencor)對AI的應用方向，看法也跟Lam Research有些類似。該公司資深副總裁暨行銷長Oreste Donzella表示，由於科磊的主力產品是半導體檢測設備，涉及到很複雜的光學設計，因此在產品開發過程中，用機器學習來進行各種條件模擬，加快新產品設計開發的速度，已經是行之有年的作法。 至於晶圓檢測設備所產生的大量資料要如何利用人工智慧進行分析，通常是由客戶端主導，科磊則扮演從旁協助的角色。因為這些資料是客戶的商業機密，所以資料要如何分析跟使用，還是要由客戶做決定。 不過，針對後段封裝跟測試，情況就不太一樣了。Donzella指出，跟前段晶圓製造相比，封裝業者分析跟控制資料的能力比較不成熟，因此封裝業者要發展自己的人工智慧系統進行資料分析，難度相對較高。因此科磊也正在評估，自家的軟體跟服務部門能如何協助封裝業者，在導入人工智慧的路上向前邁進。