然而，對製造業應用而言，目前以雲端資料中心為基礎的人工智慧，通常是不符合需求的。在生產現場，絕大多數的控制命令跟判斷，都有很強的即時性，如果要把資料上傳到雲端，在雲端進行推論，再從雲端向現場機台下達控制命令，在時效上往往拖延太久。因此，直接在網路邊緣節點進行推論，將是面向工業應用的人工智慧所實行的主流架構，也就是俗稱的邊緣運算或AIoT(AI+IoT)。
這也使得有意進軍工業市場的人工智慧晶片業者，諸如NVIDIA、英特爾(Intel)與賽靈思(Xilinx)等，紛紛推出低功耗、低成本，適合部署於生產現場的晶片解決方案，如NVIDIA的Jetson TX系列、英特爾的Movidius系列、Cyclone/Stratix FPGA，以及賽靈思的Zynq 7000與部分Zynq UltraScale+系列晶片，都可讓部署在現場的嵌入式設備直接進行推論。這三家領導晶片所提供晶片方案，也正好代表了AI運算晶片的三大流派–GPU、ASIC與FPGA，在應用開發上各自有其優勢與限制。
GPU應用開發速度最快 開發工具/IP限制卻不少
對人工智慧應用的開發者來說，GPU是用來快速創建原型跟驗證設計概念的不二選擇。因為開發者只需要撰寫程式碼、甚至直接套用開發工具裡面的現成模型，稍微調整一下參數，就可以讓GPU開始進行訓練跟推理。因此，在應用開發的早期階段，GPU是目前最理想的選擇。
然而，GPU的成本高，功耗也偏高，是許多工業設備製造商在AI軟體發展完成，設備準備量產時，繼續沿用GPU做為系統核心的主要疑慮所在。GPU的散熱對於在工業環境下運作的嵌入式設備，是一個很大的問題。工業環境的溫度變化大，且現場往往沒有空調設備。如果環境的背景溫度本身就偏高，在這個情況下，採用被動式散熱的效果將大打折扣。
採用主動式散熱，例如散熱風扇，則意味著設備的機構設計可能需要保留開口，這會對設備的防水防塵能力造成負面影響。此外，某些工業環境中還有大量粉塵存在，如果設備內有風扇，不僅容易故障，還有引發粉塵爆炸的風險。
也因為上述種種環境條件的限制，GPU若想應用在工業設備上，低功耗是最重要的規格。散熱功耗(Thermal Power Dissapation, TPD)低於10瓦是設備得以採用被動式散熱的基本門檻，但如果能做到更低，工業設備採用GPU的疑慮也會跟著減少。這也是NVIDIA的第一代Jetson TX將功耗定在10瓦，並將新推出的Jetson TX2(圖1)功耗進一步壓低到7.5瓦的主要原因。
除了功耗跟散熱問題外，GPU廠商的開發工具、參考設計跟協力廠商軟體資源雖然已經相當完整，但如果設備製造商想在這個基礎上進行客製化開發，還有智財(IP)方面的問題必須克服。有業界人士指出，跟NVIDIA合作，會受到很多限制。該公司提供的模型跟演算法資源相當豐富，也有為數眾多的協力廠商夥伴，但這些資源的智財權均控制在NVIDIA及其合作夥伴手上，如果要在產品上使用這些演算法，除了有可能需要額外支付權利金，NVIDIA對晶片的用途管控也相當嚴格。
另外，工業設備所使用的演算法跟模型，如果需要客製化調整，也可能需要跟演算法的開發者或GPU供應商進一步洽談，設備供應商不能自行隨意修改，這也是另一個潛在的成本來源，可能需要額外支付更高的權利金，或是耗費更多時間。
不過，倘若功耗跟智財都不成問題，對工業設備開發商來說，直接在設備上使用GPU，是最快將產品推向市場的途徑，因為產品從開發到最終量產使用的是同一個平台、同一套源碼，相容性基本上可以保證，不用擔心原本在GPU上開發的軟體，換到FPGA或ASIC之後會出現相容性問題。
ASIC算力/功耗比最優 演算法綁定不利發展多樣化應用
自從人工智慧浪潮興起後，許多IC設計公司都推出神經網路處理器(NPU)或ASIC加速器，想分食人工智慧應用的市場大餅。這些專為某些特定演算法或模型提供加速的晶片，在執行對應演算法的時候，有非常高的能源效率，功耗5瓦、甚至2瓦以下的解決方案都已經出現在市面上，為人工智慧應用的普及做出重要貢獻。
不過，也因為這類NPU或ASIC加速器只專門針對特定演算法或模型做優化，因此其泛用性很低。如果工業設備製造商對演算法或模型的更動幅度較大，甚至想套用自己發展出來的演算法，在這類平台上不是執行效果不佳，就是根本無法執行。
舉例來說，目前這類泛ASIC解決方案，最主要的應用市場是安全監控領域(圖2)，例如人流偵測、人臉識別，或是對敏感區域劃設虛擬圍籬等。但對工業應用來說，這些方案除了適用于廠區的安全監控系統之外，像是生產線上的產品檢測、引導機器手臂作業等典型的機器視覺應用，很難採用這類ASIC方案來實現。至於微電子、半導體等級的自動光學檢測，這些ASIC方案就更難派上用場了。
對IC設計業者而言，針對少量多樣的工業市場開發ASIC產品，成本效益是最大的難題。因此，晶片業者的發展策略必然是利用安防產業所創造的經濟規模，向外拓展出部分工業或產業用嵌入式設備的應用市場。
近期英特爾跟IC設計新創公司耐能(Kneron)，都分別與工業電腦業者結盟，試圖將NPU與加速器推進智慧零售應用，因為智慧零售的需求跟安防基本上相通，不需要太大幅度的設計修改。但有工業電腦業者認為，在未來三到五年內，NPU或ASIC加速器方案在產業領域的應用，大概也只會到這裡為止，要進一步跨入變異性更高的工業應用，機會應該不大。
FPGA限制最少 考驗設備商IC設計功力
過去幾年，有鑒於人工智慧需求興起，FPGA業者在自家開發工具跟協力廠商生態系夥伴的建構上投入不少心力，成果也陸續展現。在資料中心端，利用FPGA來加速神經網路或深度學習演算法，已經是很多網路巨擘所實行的作法，因此，FPGA廠商自然也將下一步發展重心放到邊緣運算上。
對工業應用來說，FPGA是個很理想的選擇。由於工業應用向來是個少量多樣的市場，很難期待晶片供應商針對工業設備業者的需求，推出對應的晶片解決方案。也因為這個緣故，某些研發實力較強的工業設備業者，一直都是靠FPGA來實現自己所需要的晶片功能。最典型的例子就是高階的運動控制設備，或是某些需要大量I/O的控制器。
而在人工智慧從雲端走向邊緣的過程中，工業設備製造商自然不會忽視用FPGA來實現人工智慧這個選項。且在FPGA業者陸續推出機器學習開發環境，協力廠商業者的軟體智財也逐漸到位後，利用FPGA在嵌入式裝置上執行人工智慧應用，困難度已經相對降低。不過，就和利用GPU平台上的協力廠商資源一樣，設備開發商如果要使用協力廠商開發的演算法，通常會有額外的授權費用產生。
FPGA最大的優勢在於硬體功能的配置非常彈性，如果工業設備開發商已經有自己的人工智慧演算法，開發團隊可以利用FPGA實現對應的硬體加速器，達到最高程度的系統設計優化。但相對來說，當軟體設計有所更動時，硬體可能也需要做對應的調整，而這個時間是相對耗時的。
事實上，要把FPGA的潛力發揮到淋漓盡致，開發團隊必須相當熟悉積體電路的設計作業，諸如電路合成、時序收斂、繞線佈局等。雖然FPGA供應商的開發工具多半已經可以將相關作業自動化，但要進一步將設計優化，設計人員還是需要具備相關知識，而且為了因應軟體設計反覆運算，硬體也要跟著頻繁反覆運算，這是很花時間的。
因此，比較理想的開發流程還是先從GPU開始，等軟體設計反覆運算到相對穩定的階段，再針對已經穩定的軟體做對應的硬體加速設計。而非直接從一開始就用FPGA平台做軟硬體同步開發。
訓練資料集建置不易 AI走進工業應用還需醞釀
雖然各晶片大廠對於人工智慧走向邊緣的發展趨勢都有很高的期待，並已推出對應的邊緣運算解決方案，但對工業應用來說，最麻煩的問題不是缺乏硬體或演算法，而是缺乏訓練用的資料集。
不像一般針對消費性或安防領域的人工智慧應用開發商，可以用低廉的人力成本找來大量資料標籤員，快速完成訓練資料集的建置。工業用的人工智慧應用處理的是各種專業領域的資料，一般人無法判讀這些資料。
以藉由機器視覺來檢視金屬加工件這項應用為例，工業相機可以輕而易舉地取得成千上萬張金屬加工件的影像，但這些影像對一般人來說看起來都差不多，只有業內專家能夠看出其中的些微差異，進而區別出良品跟不良品。
高品質的訓練資料集才能確保人工智慧判斷的準確性，但工業領域的高品質資料集不容易建置，是目前工業設備業者、乃至有心導入人工智慧的製造業者所共同面臨的問題。而且，由於這些資料往往涉及營業秘密，因此只能用內部有限的專家人力來建置資料集，無法外包給外部專家，這使得資料集的建置工作需要耗費更長的時間。
綜合多家國際工業設備巨擘與大型製造業者的觀點，即便目前人工智慧軟硬體方案已經比過去成熟許多，但相關廠家現階段大多還停留在研發前期或中期階段，僅有少數動作比較快的業者，已經開始在實驗產線上進行測試。因此，工業領域普遍導入人工智慧，可能還需要2~3年時間醞釀。
