感測融合
旋轉運算扮演關鍵角色 感測融合促環境感知超展開
加速度計、陀螺儀和磁力計通常以消費者價格點提供有效的動作資訊。消費者級的慣性測量單元(IMU)是大多數電子裝置觸發動作的關鍵,然而最能說明問題的,並非是其產生的原始數據,而是透過分析和理解感測器的各項數值,帶來更多的啟發,這就是為什麼會有感測融合(Sensor Fusion)的概念出現。
感測融合的重點在於如何合併多個感測器數據,以及對不同感測器數據的取捨,只要將增益、偏置或雜訊等感測器異常納入考慮,便能較容易了解到那些需要偵測手勢及電源管理的產品為什麼會如此複雜。
想要了解如何在IMU中整合感測器數據,就需要了解旋轉以及控制的方法,本文將說明不同類型旋轉的表示法及所需的操縱方式,還會介紹Arm Helium技術(M-Profile Vector Extension, MVE)是如何幫助客戶在Arm Cortex-M處理器上產生更快的結果,僅以一個四元數(Quaternion)就能提升指令速度約2.5倍,使用八或更多個四元數速度將提升4倍。
多種旋轉表示法
從基礎開始絕非壞事,所以本文將從定義旋轉開始。旋轉是維持方向不變的正交變換,即點與點間的距離和向量間的角度不變,且無任何形式的延伸或傾斜。
旋轉可用兩種方式來思考:旋轉向量或旋轉座標系,這兩種的方式相同但主體相反。前者是以面對自己的方向轉動骰子(物體旋轉),後者是將骰子置於桌上並自己繞桌旋轉(座標系旋轉)。
旋轉可用多種數學函數表示,各種方式都有其優缺點,對座標系、符號、框-向量旋轉及非可交換旋轉,各有潛在的困難點,每種方法利弊如下列所示。
歐拉角
歐拉角的基礎原理是用三個角度來表示空間中發生的旋轉,共可以生成十二個獨特的旋轉順序,其順序可為外旋(旋轉軸全域固定)或內旋(旋轉軸隨裝置移動),其中外旋很少用於運算。
在俯仰(Pitch)、偏航(Yaw)、橫滾(Roll)順序中最常見的也許是航空歐拉順序,如圖1所示,圖中採用NED座標系(北-東-下),分別代表X、Y、Z軸。
圖1 航空歐拉順序
參閱上圖能深入地了解內旋順序。以Z-Y'-X"順序而言,先繞飛機/重心(Z)的中心旋轉,然後從新位置繞機翼(Y')旋轉,最後繞機身圓柱中線(X")旋轉。這一俯仰、偏航、橫滾序列的角稱為Tait-Bryan角,但一般稱為歐拉角。
歐拉角易於閱讀和理解,因此有助於概念化和使用者輸入,但不利於運算或插值,比如將偏航和俯仰視為地球的緯度和經度,則在赤道的一度運動會比在極地冰蓋處的一度運動大很多。
主要缺點之一是發生在接近π/2或90度之第二次旋轉的環架鎖定(Gimbal Lock),此現象能用圖1解釋。繞重心旋轉任意角度,然後俯仰飛機至90度,此時飛機就會垂直向上,在這一點上,飛機繞中線和重心旋轉效果相同,此會導致系統進入二維自由度(DoF)狀態,而失去第三維自由度,因而產生多餘的等效旋轉,並使運算複雜化。
方向餘弦矩陣
旋轉矩陣亦稱DCM,是一個3×3矩陣:w=Rv,其中R是旋轉,v是向量。DCM將一個參考座標系轉換為另一個參考座標系,等於用矩陣表示各個歐拉角旋轉的乘積。
使用時必須有一個正交矩陣,其中R-1=RT and Det(R)=1,來代表純旋轉(無延伸或傾斜)。
此方法可避免環架鎖定,但這種方法的缺點,是確保矩陣在操作後保持正交性,將可能不易運算。
軸-角
與需要三個旋轉的歐拉角相反,軸-角表示法只需要一個旋轉。此一方式下,任何旋轉都可以用圍繞任意軸n的單一旋轉角θ表示(圖2)。
圖2 軸-角
本方法的優點在於運算過程只須操作兩個數值,而不是如歐拉角的三個數值和DCM的九個數值,這改善了歐拉角所缺乏的數值穩定性,也毋需如DCM進行重新規範化,及歐拉角的環架鎖定,但是它的缺點是不太適用於額外的運算。
四元數
四元數可與其他旋轉方法結合或作為替代方法使用,是定義旋轉的首選。此表示法使用的複數具有一個實項和三個虛項:q=w+xi+yj+z,其中w是實項,x/y/z是虛項;若用向量表示,q==,其中w是實項,a是向量。
四元數沒有環架鎖定的風險,在數值上也比DCM更穩定,沒有冗餘因素、不需要昂貴的操作正交化、易於保持正規化,而正規化的四元數類似軸角法,可以表示旋轉角度的任意向量,因此更容易解釋—w是角度w=cos(θ/2)的變形版本,a=是軸的比例版本:
在四元數中,四元數數學的加法是向量加法,即所有元素的和;乘法略微複雜而且不可交換。如定義P為(p0,p)且Q為(q0,q):
在規範化(單位)的四元數中,逆矩陣等價於共軛(Conjugate):P-1=P*,而旋轉向量(v)四元數q的量:w=q*vq;v=qwq*;w=Rv(R是DCM3×3矩陣)且存在於四元數。
合併旋轉是四元數乘法:
且可由四元數Q旋轉向量v後再返回:
四元數因支援插值和導數,因此有利於感測融合,軸-角法和歐拉角法均難以插值,雖然可以使用DCM進行插值,但因要對九個元素(3×3)進行操作而難以執行,且相較於DCM,四元數只需要四個元素(w/x/y/z),因此也可提高儲存效率。
如上所述,四種數學方法各有其優點和影響運算便利性的潛在缺點。其中四元數在感測器整合的旋轉運算上更受青睞,因為四元數可以避免環架鎖定、確保數值穩定性、對訊號進行插值且提高處理效率。
但是如果要執行大量旋轉,對於四元數運算是很大的挑戰,由於四元數乘法需要大量獨立運算,以致於實際運算效率可能比DCM低,尤其連續進行大量旋轉時,四元數乘法的操作程序將比矩陣乘法複雜。
四元數乘法
Arm Helium的指令集可以快速進行四元數乘法,而在說明其加速方法前,需要對四元數和四元數數學進一步說明,如前文所述,四元數的旋轉需要進行多個乘法運算,亦即四元數乘法是旋轉的關鍵,例如定義四元數A、B及R如下:
其中a=,b=,r=,擴展為16個乘積累加/累減:
或可將四元數視為一對複數,例如a和b是實數,則複數a+bi可表示為一對(a,b),四元數A=,因此可表示為(a1+a2i)+(a3+a4i)j,其中ij=k,亦即將四元數A表示為負數對(a1+a2i,a3+a4i)。
將複數相乘的結果如下:
亦即兩個四元數可用兩對複數表示如下:
全部乘法運算合在一起等於16個實數或4個複數的乘積累加/減運算。
採用新指令集
Arm Helium技術包括一個向量複數乘法累加VCMLA指令,此指令可以執行一半的複數乘法,而使用兩個不同「旋轉」值的調用,可以運算出一個完整的複數乘法。
調用VCMLA兩次:
1.r=vcmla(r,,,0)
2.r=vcmla(r,,,90),產生r=,亦即每次調用僅需要兩個純量乘法累加。而VCMLA指令能夠一次運算多個f32和f16複數(定點運算有專用運算子)。而由於四元數可以用兩個複數表示,因此特別有用。
總而言之,四元數乘法的複雜運算如下所示。
此乘法可調用VCMLA指令四次來完成:
前述的16個實數乘法累加/減運算可改為對VCMLA指令的四個不同調用,每個調用執行四次乘法累加。在前兩次運算後,產生八個等效置換結果,如圖3所示。其中最好使用粗體的四個置換,因為它們對於第三次和第四次VCMLA調用有相同的輸入,這一點很重要,因為就指令獲得的速度而言,不可輕忽更改輸入所耗的時間。
圖3 旋轉置換
Helium應用範例
進行四元數乘法前,需先調用其他指令來置換和求逆輸入數據,再調用VCMLA指令。這些存取模式可用常量陣列或手動生成,以下實例會演示此版本的執行:
本四元數乘法的優化代碼如圖4所示,在VCMLA運算代碼中,灰底標示的部分代表四元數乘法。本實例使用多種方法:如{0,1,0,1}用增量/迴繞(viwdup)生成;{2,3,2,3}是人工構建的演算法;{3,2,1,0}用增量(vddup)生成;符號修改碼從表中載入,但也可用vdup/vmov生成。
圖4 四元數乘法代碼
加速指令處理
CEVA-Hillcrest Labs利用Arm作為其DSP核心。本文將Arm Cortex-M0和Cortex-M0+處理器具有的1-cycle或32-cycle的乘法選項,用於感測融合。雖然Cortex-M3也有相同的功能,但對於較小的代碼大小和MIPS而言,其具有更高效的代碼,因此更能節能。配備FPU的Cortex-M4,則提供了更小的代碼和更少的MIPS。
然而,借助Arm Helium的技術,可以同時執行多個四元數乘法,來快速地產生結果,如表1所示,其中NoQ為同時進行的四元數乘法運算;He為Helium擴展所採取的循環數;Cortex-M4為Cortex-M4執行採用的循環數;Cortex-M7為Cortex-M7執行採用的循環數;CPQ為給定運算的每個四元數運算循環數。
而表2則列出使用Arm Helium替代其他Cortex-M應用方案,所得到的速度提升,其中Ratio為給定運算與MVE運算相比處理時間的百分比;Speedup為MVE相對於給定運算的速度提升之比(比率的倒數)。
由此可知,Helium的效果顯著,僅用一個四元數就能提升指令速度約2.5倍,若使用八或更多個四元數,速度將至少提升4倍。
感測融合至關重要
隨著人們的生活越來越緊密,感測器在日常生活中變得越來越普遍。為了滿足這種便利性,感測器須以低功耗、快速、準確地認知周遭環境,因此,複雜四元數旋轉的感測器整合,便是建立此一認知的關鍵。
(本文作者Fabien Klein任職於Arm;Bryan Cook及Charles Pao皆任職於CEVA)
感測器結合聯網技術 智慧建築更舒適/安全
物聯網(IoT)為我們帶來了更舒適,更方便,更安全的生活。適應我們需求的設備,電器甚至建築物的生活。目前,物聯網技術主要在消費市場取得進展,人們的智慧手機可作為用戶友好介面,用於智慧照明,家庭監控,智慧CO2/煙霧探測器,智慧加熱和通風,語音指揮助理等服務。
不過,物聯網的潛力遠遠超出了這些聰明的家用設備;隨著技術的成熟,人們開闢了無數新的可能性。除了嘗試以智慧家居為重點,以及打造以消費者為中心的物聯網應用之外,另一個更重要的步驟是創建更智慧的辦公樓,即不僅提供最高舒適度,而且提供最佳效能和安全性的建築。
使用物聯網技術監測建築物的使用方式,可以根據我們的確切需求設計辦公室,當房間裡沒有人時,直接自動停止空調運作及會議室使用。透過最新技術的物聯網感測器和雷達,建築物將能夠分辨出房間中有多少人,他們在哪里以及他們喜歡什麼樣的(工作)環境(溫度、照明等)。由於建築物占城市電力消耗的40%,安裝物聯網能力將有助於實現全球電力減少目標。
因此,多感測器環境監測平台相繼問世,結合了溫度、相對濕度、NO2、CO2、揮發性有機化合物(VOC)、顆粒物質、環境光、聲音、振動和存在檢測等感測器,適用於室內和室外空氣質量監測和控制,可用於智慧建築、智慧城市等。
實現智慧建築方案 硬軟結合勢在必行
因應上述趨勢,如今已能使用價格可負擔的技術,來檢測人們在房間中的情況,而不只是人們的確切數量,活動或確切位置。過去,感測器業者展示了基於雷達的各種人體運動分類,以及遠距呼吸和心跳檢測,這些監測仍然需要穿戴式設備,但未來雷達的技術可以從不同空間,並在距離數公尺處執行這些測量。
同時,該技術可以準確分析存在、移動和生命徵象,同時與當前搭配鏡頭配件的解決方案不同,更能保護個人隱私。然而,為了實現智慧建築,還需要更好的硬體來收集準確的數據,以及需要正確的演算法將數據轉化為知識。
如此便須要仰賴半導體業者或研究單位的內部專業知識,以做到上述兩點,進而支持整個智慧建築解決方案流程,例如從創建最佳感測器和雷達設計到開發最佳算法;同時還可在真實應用程序中使用真實的工件來證明設備功能。像是比利時微電子中心(imec),其解決方案便結合了硬體和軟體功能,並在其HomeLab和OfficeLab等現實環境中進行測試,以在物聯網領域取得成功。
智慧建築技術可延伸至其他領域
事實上,用來實現未來智慧建築的大部分技術,在其他領域也很有用,以支持物聯網創新。例如因應5G通訊,半導體廠商開發了一些基本構建模組,包括類比數位轉換器(ADC)、可重配置的低噪聲頻率合成器、毫米波相控陣收發器,以及天線模組等。
此外,感測器供應商還開發用於在79GHz運行的自動駕駛汽車的雷達,例如適用於人和碰撞檢測。以imec為例,該單位旗下雷達提供的角分辨率增加10倍,而大批量生產的功耗卻降低了一半;imec還開發了新的物聯網通訊標準的知識產權,如NB-IoT和Cat-M1,支持廣域蜂窩物聯網;且對於短距離物聯網解決方案,其中許多無線電IC廣泛可用,該公司進一步將藍牙IC的面積以及成本減少了3倍,同時使用最小和最低成本的電池。
這個領域與其他imec研究的區別在於,物聯網項目具有極高的技術就緒指數(TRL)。例如,該公司的液體離子感測器目前作為開發套件進行採樣,以引導客戶,同時將製造知識轉移給工業合作夥伴。這種液體離子感測器特別有趣,因為它提供了許多不同的可能性。它可以同時檢測液體中的多種離子,使用壽命超過6個月。該感測器可用於許多不同領域,從監測水質到啤酒發酵過程的微調。總而言之。因應物聯網發展,這種以應用為導向的創新,成為半導體業者未來的主要發展方向。
智慧感測晶片三項新發展
未來環境將緩慢但漸進式地演變為「物聯網」,其中晶片和感測器無形地整合在環境中以承擔其多種任務。想像一下感測器可以檢測到個體的存在並相應地調整建築物中的光線,而節省大量能源;從某種意義上說,這些感測器將如同我們環境中的眼睛,耳朵和鼻子。
無處不在的感測器將在許多領域中脫穎而出。當然還有智慧建築、自動駕駛汽車、自動化工業和物流過程。感測器將有助於解決環境問題,如果能夠以細粒度的方式連續測量空氣和水的質量,並且可以集中收集數據,則可以採取更好的指導措施,並立即測量結果。
另外在醫療保健領域,也有很多機會。想像一下簡單的工具,如加權秤,血壓監測器,以及將數據安全地發送到雲端的心臟和活動監視器。在那裡,可以分析數據並成為指導患者過上更健康生活的新服務基礎;這種類型的連接醫療保健已經小規模應用於高風險患者,但隨著技術變得更加智慧和便宜,它可以提供更多服務。綜上所述,為實現更加智慧及萬物聯網的環境,感測器將會有三項發展趨勢。
感測器融合以獲得精細數據
首先一種可能性是感測器融合。運用許多不同的感測器測量相同的物理參數,例如人的心跳可用電、光學甚至聲學監測。透過組合感測器的結果並解釋結果,可以獲得穩健可靠的結果,還可以添加上下文感知。像是打造一個可「感覺」人已經開始睡覺的感測器,將這個結果傳達給第二個感測器,該感測器的任務是監視休息時的心臟;因此,一個感測器標誌著另一個感測器開始工作的理想時刻。
在ISSCC,Holst Center/imec的研究員Mario Konijnenburg提出了一些非凡的成果。他與同事開發了一種能夠同時測量多個身體參數的晶片,包含心電圖(ECG)、生物阻抗(BIO-Z,身體的電導率,揭示身體組織的成分)、電流皮膚反應(GSR,由於例如壓力引起的皮膚電性質的變化)和光電容積描記圖(PPG,由於光吸收變化導致的組織中血液循環的變化)。因為這些數據是在一個晶片上收集的,所以完全可以同步它們並尋找相關性。測量組合允許例如推斷心跳和心率變異的可靠方法,並且(相對)血壓可以通過解釋ECG和PPG測量來推斷。
晶片開始具備現場運算能力
來自感測器晶片的數據被無線發送到雲端(例如通過智慧手機或筆記型電腦)。在雲端中,數據被處理和分析。目前,無線鏈路使用感測器消耗80%的能量。因此,如果感測器必需更節能,應該發送更少的數據。這可以透過部分在地感測器上處理和解釋數據來完成,僅將結果發送到雲端。當然,晶片上的處理也會消耗能量,因此研究人員的部分任務是在晶片上處理和向雲端發送數據之間找到最佳平衡點。
同時,若是感測器必須進行更多的現場處理,則需要一個或多個額外的處理核心。先進晶片技術非常適合在非常小的晶片上整合更強大的處理能力。然而,要實現此一目標,需要為感測器增加模擬介面,但目前這些模擬介面並不能很好地擴展到最新的技術節點。
為此,imec研究員Rachit Mohan描述了一種用40nm CMOS製造的感測器讀出晶片。新晶片採用基於時間的技術,而不是傳統的基於電壓或功率的技術。這種基於時間的電路可以在較低的電源電壓下操作;此外,放大器鏈中向數位域的轉換要快得多,並且可以數位化進行濾波,這使得該技術在深度擴展的技術中實現具有吸引力,該技術還允許實現更強大的數據處理。
具自適應和壓縮採樣 感測晶片僅在需要時進行監控
另一種透過感測器的無線鏈路節省能量,並儘可能少地發送數據的技術是自適應和壓縮採樣。利用這種技術,訊號不會以固定的時間間隔進行測量和發送,而是根據被監測訊號的特性進行測量。
例如心電圖心臟監測,在ECG峰值時刻,要測量的訊息比峰值之間的間隔期間要多得多;結果,感測器可以在峰值期間以較短間隔對心臟訊號進行採樣,並且在其間以較長間隔對心臟訊號進行採樣。總而言之,將有一個可靠的ECG監測,測量點更少,發送的數據更少。
在ISSCC,imec研究員Pamela Venkata Rajesh展示了基於LED光和使用壓縮採樣的光電容積描記圖測量(PPG)的讀出晶片。PPG結果可以推斷心跳和心率變異性,它們是ECG監測的不錯選擇,因為其不需要在患者胸部使用電極。缺點是,感測器的LED燈照射在皮膚上需要額外的能量,這是小感測器晶片能量預算的嚴重消耗。因此,重要的是可以使用壓縮採樣進行測量,測量較少但更智慧的數據點。
物聯網技術前景佳 2030年布建成本將顯著降低
物聯網技術具有很大的前景,這一領域的研究正以驚人的速度發展。到2030年,智慧物聯網節點的成本可能會降至0.5美元以下。新的感測器將充斥市場,並將監控我們生活的各方面,從而產生大量新的應用和服務。
總結來說,透過感測器和聯網技術,建築物產生更多有用的數據,進而使半導體、系統整合業者可創建滿足各種需求的高度客製化空間。我們無法預測物聯網革命將改變哪個領域,但很難想像任何領域都不會受到影響。對於感測器供應業者而言,將會處於創新的最前線,而最初的重點是透過相關和領先的創新擴展智慧建築、智慧物聯網等戰略。
邁向自駕世代 感測融合成汽車產業新習題
自動駕駛已成為科技產業勢不可擋的其中一項趨勢,各大汽車品牌及汽車電子元件供應商紛紛投入此一領域發展,其市場產值也持續上揚,根據研調機構BCG預測指出,2025年自動駕駛市場產值將達420億美元,而到了2035年自動駕駛車輛將占全球汽車銷量25%。
在市場發展如此蓬勃的情況下,自駕車技術逐漸成熟,搭載輔助駕駛功能的LV1及LV2車型已陸續上市,而車廠和汽車電子元件供應商仍然持續推動自駕車發展進程,致力在2019年開始,推出更多LV2甚至是LV3的車種。
LV1/LV2車款紛問世 車商開始朝L3全速邁進
瑞薩(Renesas)電子車用事業部市場行銷經理何吉哲(圖1)指出,目前市面上搭載先進駕駛輔助系統(ADAS)的車款,多處於LV1、LV2的階段,例如道路偏移警示系統(LDWS)、盲點偵測等功能是屬於LV1,而ACC自動巡航系統和自動煞車等應用則歸類於LV2。然而,在強化行車安全以及提升消費者體驗的驅動之下,車廠和一級供應商(Tier 1)一定會朝著越來越高的規格發展,也就是LV1會加速朝LV2升級,LV2的汽車則是想盡辦法升級到LV3,換言之,從2019年開始,LV2、LV3的車型將會逐漸增多。
圖1 瑞薩電子車用事業部市場行銷經理何吉哲指出,因應安全需求及提升消費者駕駛體驗,各大車廠皆致力發展LV3的車型。
NVIDIA業務協理蕭怡祺(圖2)則表示,自駕車發展已有一段時日,產業期待自駕車能從初期的研發轉為實際應用,因此紛紛朝LV2和LV3的車型進行量產規畫。同時自動駕駛的市場驅動因素仍有增無減,除了安全需求之外,例如東京奧運這類型國際性大型運動賽事,往往是車廠、汽車電子元件供應商展現實力的最佳場所,不論是日系、歐美或中國汽車品牌,都會希望在2020東京奧運上展現自駕車研發成果;因此,此一競爭態勢也成為加速自動駕駛發展的原因之一。
圖2 NVIDIA業務協理蕭怡祺表示,要實現自動駕駛,或達到LV3程度,不僅需要搭載大量高效能感測器,也須結合高運算平台及演算法。
誠如上述,在LV1、LV2車款相繼量產後,各大汽車品牌也動作頻頻,發展LV3的車型。像是Toyota在2016~2021年投入10億美元在TRI發展AI,與Preferred Networks合作高精度圖資,採用NVIDIA新處理器,與Azure雲端運算平台,採用Keymeta衛星天線用於解決大量數據的下載。
或是VW在自動駕駛方面則與LG、NVIDIA等合作,期能在2021年推出具有人工智慧的自動駕駛,在2025年實現自駕計程車隊,2025年以後LV5的車型可以實際進入應用;又或是雷諾計劃在2019年Cilio、Espace車款達成LV2,2021年達到LV3,2022年達到LV4。
ADI大中華區汽車電子市場經理崔正昊認為,從市場落地角度來看,自動駕駛會率先在共用租車、商用車、特種車輛等有限應用場景條件車輛上實現。這些高度重視性能、對成本不敏感的產業市場,將帶動自動駕駛整體市場快速發展,推動技術成熟、硬體成本降低,最後在乘用車市場得以廣泛應用。
另外,隨著自動駕駛設備在工業和智慧農業領域的廣泛應用,如礦場的自卸卡車、農田中的自動駕駛拖拉機及無人機自動澆灌等,社會公眾對自動駕駛技術的恐懼心會逐漸消散,並逐步認可新技術給行車帶來安全和便利、提升社會效率,不用太久,越來越多人將樂於接受並踴躍嘗試自動駕駛技術。
邁向自動駕駛 感測融合不可或缺
眾所皆知,要實現自動駕駛,感測元件如毫米波雷達(Millimeter Wave Radar)、光達(LiDAR)和影像感測器(Camera)等皆不可或缺。何吉哲指出,目前已出廠的新車,越來越多的車款開始搭載ADAS功能,ADAS普及率和滲透率可說逐漸提高。不過,這是單指新車的部分,但在已上路的舊型車種上,大多數的車子仍未具備ADAS功能。然而要達到全自動駕駛目標,除了新出產的車型開始搭載ADAS功能外,舊型車款也應該要增添感測器,從輔助駕駛開始做起,再慢慢轉變成全自動駕駛。
然而,要實現自動駕駛,並不只是安裝感測器後便得以實現,更重要的是如何將各式感測器所收集到的資訊加以匯集並進行判斷,也就是實現所謂的「感測融合(Sensor Fusion)」。感測融合的概念意指同時匯集多顆感測器(相同類型或不同類型)的資訊,進行整合並由中央處理器進行判讀和運算後,做出更快、更好、更安全的車輛控制指令。
蕭怡祺說明,要達到自動駕駛,並且提高自駕車的安全性,需要大量的感測器,且每個感測器的性能也要相當強大,也就是感測器要能明確判斷出偵測到的物體為何(例如一隻貓、一輛腳踏車),前端的處理須夠準確,接著再透過高效能的運算平台整合、分析感測器收集的大量資料;而要達到此一目標,不僅僅需要高運算能力的處理器,演算法也是另個不可或缺的關鍵利器。
因應此一需求,NVIDIA備有「NVIDIA DRIVE AGX Xavier」,該產品為專為自動化裝置設計的系統單晶片,提供30兆次運算(TOPS)的效能,但只消耗30瓦的電力,並整合了六個不同的處理器,以處理額外和多種不同的深度學習演算法,使自駕車產業得以大量生產,和立即進行測試。
此外,要使汽車達到LV3等級,或是更進一步的LV4、LV5,並不只是單靠一個具強運算效能的處理器就可達成,背後的演算法也是不可或缺。對此,NVIDIA也提供「NVIDIA DRIVE」應用軟體(包含NVIDIA AR、NVIDIA IX、NVIDIA AV等),以支援融合感應器和認知等重要的自動駕駛功能,且此一開放式解決方案還包含程式庫、工具組、框架、開放原始碼套件和編譯器,供車輛製造商和供應商開發自動化和自駕車應用程式。
同時,擬真模擬也是自駕車實際上路前的重要試驗步驟,因此NVIDIA透過DRIVE Constellation方案在車輛上路前,先測試與驗證自駕平台功能。此一產品可模擬相機、雷達和光達,然後輸入到根據實際上路情況處理資料的DRIVE AGX Pegasus,產生多種自駕車測試情境的數十億英里道路,在部署前驗證硬體迴圈和應用軟體迴圈模擬。
何吉哲透露,因應自動駕駛發展,汽車上搭載的感測器種類越來越多;而感測融合的重點,便在於如何將感測器所收集到的資訊,快速的判斷、分析後,進而下指令給汽車的安全控制系統,讓汽車加速、減速、前進、後退、轉彎或是煞車等。換言之,感測融合的最主要目的是串接「感測」與「安全功能」。
例如奧迪A8的360度主動安全偵測系統(Pre Sense 360O Safety System),當汽車時速達25km/h以上時,若側邊雷達偵測到有碰撞危險時,會在0.5秒內將撞擊面提高8公分,以車身底部結構較為安全的部位承受撞擊(而非車門),以減少乘客或駕駛的撞擊損傷。
因應感測融合所需的高效能運算,瑞薩也備有R-Car H3處理器。該產品提供認知運算能力及強化的運算效能,可即時正確處理來自汽車感測器的大量資訊,並可讓系統製造商執行需要複雜處理的應用程式,例如障礙物偵測、駕駛人狀態辨識、危險預測,以及危險迴避。為進一步提升駕駛安全支援系統的速度,該產品亦符合ISO 26262(ASIL-B)汽車功能安全。
賽靈思(Xilinx)汽車事業部資深總監Willard Tu(圖3)則表示,智慧汽車的發展十分活躍,而目前大部分車輛都採用「分散式運算系統」,但最終將轉化為「集中式運算系統」。每家OEM可能都有不同的感測器配置組(攝影機、雷達、光達及超音波等),一旦資料聚合起來,就能進行一定的預處理,在感測器將資料傳輸至中央控制單元中其他處理元素前,對其進行最佳化。
圖3 賽靈思汽車事業部資深總監Willard Tu透露,目前多數車輛皆採用「分散式運算系統」,但要實現自動駕駛,未來汽車勢將採用「集中式運算系統」。
Willard...