這些自動化功能(包含多重攝影機輸入、視覺感受與場景產生)需要更強大的汽車處理能力。先進駕駛輔助系統(ADAS)應用的處理器必須能結合視覺或其他感測器資料,為車輛提供具高度可靠的轉譯環境,讓車輛在低速下不論是否由駕駛操作,都能安全運作。例如德州儀器(TI)設計Jacinto 7處理器系列便是克服此挑戰的選擇之一。
本文將舉例說明汽車客戶如何以TI Jacinto TDA4VM建立ADAS應用,提供輔助與完全自動化的停車功能。包含討論此類系統的技術需求,內容涵蓋所有汽車市場類型(迷你型、中型、大型、豪華型)與Jacinto TDA4VM矽晶裝置和軟體平台,並說明如何開發安全舒適的自動停車技術。
自動停車/輔助三系統解析
依系統功能,將停車輔助系統分為三種基本類別(表1)。首先是基本環景系統,運用多個攝影機輸入,立即為駕駛提供車輛周遭區域360度的環景影像。攝影機輸入整合在單一俯視影像中,並以車輛為中心點,提供駕駛視覺資訊,於手動停車時提供協助。覆蓋部分表示車輛與物體、人行道或停車線的相對位置,強化環景影像。
其次為半自動自主停車系統,結合攝影機、超音波與位置資訊,可打造更完整的車輛周遭環境影像,進而協助部分的自動停車工作。車輛可根據這些資訊完成基本停車任務,控制方向盤、煞車、油門與換檔,自動操控車輛進入(或離開)平行或垂直的停車位。在此情境中,駕駛需先尋找可用車位並保持完全控制,讓系統適時接手自動停車任務。
最後,全自動泊車系統功能更上一層樓,車輛可完全自動停入與駛出定義清楚的停車區。駕駛從尋找可用車位起,便可在停車過程停止對車輛的控制。此應用需要更多感測器輸入及更複雜的處理和演算法,才能讓汽車既可靠又安全地執行停車任務。
從基本環景檢視到全自動泊車,每種方式所需的感測器、資料與資料處理量皆大幅增加。因此專為這些應用而設計的處理器SoC需要以下功能:
·影像輸入處理程序
·通用處理
·針對深度學習任務加快速度
·為覆蓋影像產生進行圖形/汽車安全完整性等級(ASIL)處理,以確保系統運作安全
表1說明各系統類別所需的演算法與晶片功能,包含深度學習兆次運算(DLTOPS)、Dhrystone每秒百萬指令數(DMIPS)、每秒十億次浮點運算(GFLOPS)、影像訊號處理器(ISP)或硬體加速器(HWA)的百萬畫素處理能力等。依照各種功能所需的絕對性能,可再細分系統類型。
軟/硬體組合滿足不同系統功能需求
從表1中的資訊發現,汽車製造商和Tier 1供應商若要在生產汽車時引進前述功能,系統設計師和商業團隊將會面臨一些挑戰。首先,汽車製造商希望提供適用各種車款的功能,也就是在經濟型車輛上使用簡易版功能,在中階與豪華型車輛則提供較高階資訊與自主性。每款車型都需面對不同經濟現實,也就是經濟型車輛使用的電子裝置不會與高階豪華車款相同,然而為各種車型更換處理器平台進行新軟體開發與驗證需耗費大量時間與成本。所以Tier 1供應商偏好能提供通用型解決方案的平台,只要在基本設計中增加額外感測器與攝影機,即可供低階與高階車輛使用。重新使用硬體與軟體資源可達必要的工程效率,以各種產品替代方案將R&D費用降到最低並加快上市速度。
有鑑於此,Jacinto TDA4VM處理器系列與TI處理器軟體開發套件(SDK)結合,為OEM與Tier 1供應商提供新的問題解決方式。這些裝置具備異質處理功能來提供應用性能,同時進行耗電量管理,並可在受溫度與體積限制的嵌入式空間中使用。TI的Jacinto TDA4VM SoC運用硬體加速、自訂處理器核心、訊號處理器、通用處理器與微控制器(MCU),幫助設計人員打造有效的系統解決方案。TI為解決各種問題選擇並設計了各智慧財產(IP)零組件,且適合各式各樣的終端系統需求。表2針對簡易環景監控應用及較複雜的自動泊車案例,說明常用的處理步驟與IP零組件。
異質方法需依處理器核心或加速器類型使用專用軟體,可利用高階軟體概念提取低階軟體堆疊並使核心最佳化,幫助簡化開發及提供高性能核心存取。OpenVX便屬於這種軟體架構,不但開放、毋需權利金,並專為即時嵌入式視覺處理而設計。TI SDK處理器使用OpenVX範例,說明如何運用SDK的軟體零組件來打造應用(如環景監控)。
停車應用SoC整合元件促成高效運作
停車輔助與自動應用的基本需求,需具備取得攝影機與影像感測器資料的特定功能,並為處理階段準備資料。處理階段會使用影像資料執行分析與深度學習演算,提取與停車應用相關的重要功能。此階段將整合(或融合)其他感測器資料,勾勒更完整的車輛周遭環境,並將影像用來執行決策,在這裡則指安全操控車輛進出停車位。最後一步是以直覺方式將影像資料呈現在駕駛眼前,幫助駕駛安全駕駛車輛。保存影片資料以供未來檢閱也是一項重要步驟,特別是全自動情況。以上所有步驟都在安全運作環境下執行,除了提供備援,邏輯上(或實際上)也將關鍵功能與其他運作分開。
TI在TDA4VM SoC設計中考慮到多數的應用需求。TDA4VM SoC以對系統的了解為基礎,並以提供有效率、靈活且使用方便的解決方案為目的,整合各種零組件以執行擷取、處理和轉譯需求。其中一個主要設計是平衡處理與資料需求,以確保本機記憶體充足並確實存取高速外部記憶體,同時讓處理系統以高效率運作。圖1說明TDA4VM裝置在環景使用案例下的簡易方塊圖。
圖1展示影片與其他感測器輸入、顯示器輸出與壓縮影片檔案儲存位置。表3則說明環景與自動停車應用的處理階段,以及TDA4VM裝置支援這些處理階段的主要功能。如前所述,TDA4VM裝置是適合停車應用的完整系統晶片。但所有晶片解決方案都需能夠搭配晶片的軟體環境,因此TDA4VM SoC支援Linux完整軟體套件與TI即時作業系統(RTOS)核心。這些套件稱為處理器SDK,包含完整驅動程式、作業系統核心、應用程式庫、開機範例、OpenVX應用架構,以及說明在實際系統應用中使用軟硬體零組件的應用範例。這些套件經過TI可用裝置的評估模組認證。
Jacinto TDA4是裝置規畫推出的系列產品,其中TDA4VM是第一款。處理器系列中其他產品會以各種方式整合相同晶片級IP,無論是著重分析的應用,還是有成本最佳化需求的消費級車輛皆在整合範圍,為ADAS市場各種需求提供良好的產品。由於這些裝置都是以相同的基本硬體IP和軟體技術打造,裝置間仍具有完整相容性。為某一裝置開發的軟體資產可擴充並重複使用在同系列的其他裝置上,不但能提升開發效率,也可針對各車款輕鬆推出具各種功能組合的完整產品線。Jacinto系列技術,有助於開發不同的應用功能,如環景系統所發展的停車輔助與自動泊車。
(本文作者John Smrstik為德州儀器產品行銷;Aish Dubey為德州儀器系統工程師)