AR
開啟直覺人機互動新篇章 高整合140GHz雷達系統顯威
比利時奈米電子和數位科技研究與創新中心imec,5月14、15日於安特衛普(Antwerp)法蘭德斯會議中心舉辦年度科技盛會「Future Summits」,活動除邀請英特爾(Intel)技術長Mike Mayberry、益華電腦(Cadence Design Systems)執行長陳立武、微軟(Microsoft)HoloLens硬體與客製晶片副總裁Ilan Spillinger、嬌生公司全球負責人William Hait、WD執行長Stephen Milligan,以及美光科技(Micron)技術策略與營運副總裁Linda Somerville等多位產業界重量級人物分享創新科技思維與觀點外,亦展示超過50多項imec與合作夥伴共同研發的技術與應用成果,堪稱科技界最具指標性的前瞻技術交流平台。
在眾多展示成果中,採用140GHz頻段的多重輸入輸出(MIMO)雷達單晶片方案,格外令人注意,除了使用的毫米波(mmWave)頻段更高外,其採用CMOS技術高度整合多天線與收發器,實現精巧、小尺寸設計,亦是一大特點;再結合imec研發的機器學習演算法,可達到超精準解析度與高靈敏感測效能,為雷達感測在直覺式人機互動的應用發展再寫新頁。
5G/自駕車熱潮帶動 雷達感測應用前景俏
近來,隨著5G與自駕車發展日益升溫,毫米波技術的應用潛力逐漸受到產業界重視,相關研發活動與投資也不斷增加,除了聚焦在5G高頻通訊與汽車駕駛輔助系統(ADAS)的雷達應用外,利用毫米波雷達實現更多元的感測應用,亦是另一個重要發展方向。
舉例來說,德州儀器(TI)除了力推車用毫米波雷達方案外,亦積極將該技術拓展至工業自動化、智慧建築、智慧監控等其他應用領域,利用60GHz高頻毫米波雷達實現如人員計算、動作偵測、使用狀態偵測(Occupancy Detection)及生命跡象監測等應用。此外,英飛凌(Infineon)、Acconeer、Silicon Radar、NOVELIC等歐洲晶片廠,也都朝同樣的方向發展,甚至已推出基於60GHz毫米波雷達的感測方案。
事實上,目前上也有不少廠商是以24GHz毫米波雷達方案,來拓展上述非汽車ADAS應用的雷達感測市場,不過,由於業界已傳出歐洲電信標準協會(ETSI)和美國聯邦傳播委員會(FCC)決定於2022年前,逐步淘汰使用24GHz超寬頻段(Ultra Wide Band)的產品,再加上基於60GHz頻段的毫米波雷達,本質上可提供比24GHz頻段更高的感測解析度,因此不少廠商已開始往60GHz技術靠攏。
至於汽車雷達常用的77GHz頻段,若要用於工業、建築和城市基礎建設,包括那些需要人機互動的應用,在全球大多數地區都是受到限制的。
頻寬決定距離解析度 140GHz方案來勢洶洶
值得注意的是,毫米波雷達感測器的距離解析度(Range Resolution)效能與使用頻段的頻寬大小息息相關,頻率愈高頻寬也相對較大,意味著感測器距離解析度愈好,因此目前已有業者推出採用120GHz頻段的毫米波雷達感測器,而imec此次所發表的140GHz毫米波雷達系統單晶片,則是另一突破性的技術進展。
以60GHz頻段來說,根據德州儀器所提供的產品資料顯示,頻寬上看4GHz,因此基於該頻段的雷達感測器距離解析度可達3.75公分;而根據imec的規格表來看,140GHz頻段的頻寬可高達10GHz,距離解析度則可到1.5公分等級(表1),而距離解析度愈小代表雷達感測後所能獲得的點雲圖資料(Point-cloud Data)可以更密,進而達到更精準的判斷效能。
imec研發團隊負責人Andy Dewilde說明,imec長久以來在CMOS技術的開發與多天線整合設計上擁有相當厚實的能力與經驗,因此能在一個外觀尺寸只有幾平方公分的完整MIMO雷達系統下,實現1.5公分的精準解析度。而更好的距離解析度性能,可開啟更多新的應用機會,這是該公司140GHz雷達系統單晶片重要的差異化特色之一。
Dewilde進一步談到,使用140GHz頻段的另一個明顯好處是,電磁波波長更小,僅2.1毫米,換言之,天線也就可以做得很小,因而imec僅透過28奈米Bulk CMOS製程技術,即可將天線直接整合至單晶片中,毋須使用昂貴的天線模組或外部天線,達到更高整合度與小尺寸設計,且未來也可輕易藉由大量量產來達到降低成本目標。
不僅如此,高頻毫米波波長小的特性,也可偵測到更小的位移變異,如細微的臉部表情變化與皮膚運動,能顯著提升位移靈敏度,有助於生命體徵偵測等應用,因此該雷達是實現車內生命體徵監測系統極佳的方案,可促成非接觸式駕駛狀況追蹤,例如偵測駕駛有沒有打瞌睡、壓力狀況是否異常,或者預防因急性健康危害如心臟疾病或癲癇發作。另一個可能應用,是利用動作和生命體徵偵測來監測小孩狀況,例如當兒童不小心被留在車內時發出警報,即使當下是嬰兒蓋著毯子睡覺,該雷達感測器也可發揮作用。
結合MIMO/機器學習 打造直覺人機互動體驗
除了140GHz高頻毫米波頻段所帶來的技術優勢外,imec也在該款雷達晶片中,加入MIMO多天線配置與機器學習能力,從而打造直覺簡單的人機互動介面。
以手勢辨識來說,其需要最小角度解析度以便能在三度空間中擷取手勢,而提升角度解析度的一個巧妙方式,是使用多顆收發器晶片的MIMO雷達原理。Dewilde說明,MIMO是為了手勢辨識而設置,藉此可達到更精確的角度解析,以正確解讀目標物相對於雷達的方向。而訊號處理與機器學習技術亦是用來偵測和分類手勢動作,從而實現直覺式人機互動。
事實上,imec已開發出一種特定的機器學習演算法,是基於一個包含長短期記憶模型(LSTM)層的多層神經網路,並透過監督式學習方式,亦即使用超過25人的內部標籤記錄(包括針對7種不同手勢的幾次擷取記錄),來訓練推論模型。實驗結果顯示,該模型可對記錄的7種手勢進行分類,且94%的時間可正確預測手勢。
imec荷蘭雷達專案研發經理Barend van Liempd指出,藉由加入機器學習能力,imec已證明雷達基於都卜勒(Doppler)訊息來偵測和分類細微動作的可行性,這將開啟新的應用機會,如實現直覺的手勢辨識人機互動。以擴增實境/虛擬實境(AR/VR)應用來說,新的雷達方案就可支援與虛擬物件的直覺式互動,手勢辨識還可以實現直覺的裝置控制,與現今語音控制或智慧觸控螢幕的人機介面相輔相成。
據了解,imec所研發的140GHz雷達晶片方案主要適用於室內的應用,操作範圍可達10公尺,且尺寸極為小巧,單一晶片大小僅1.5×4.5mm(圖1),可在幾乎各種裝置中被無形地整合,諸如筆電、智慧手機或螢幕邊框。
圖1 imec所研發的140GHz雷達單晶片尺寸僅1.45mm×4.52mm
圖片來源:imec
imec表示,該款雷達晶片初期將用於智慧建築的人員偵測和分類、遠端汽車駕駛生命跡象監測,以及手勢辨識等應用;而更多的創新應用預期將隨著開發者的創意不斷湧現。
邁向更高整合/增強感測性能
目前imec的140GHz雷達開放創新研發合作計畫,主要係由Panasonic和Sony所支持,對該項研究有興趣的公司也可加入這項合作計畫,或另外的雙邊研發計畫,或者取得該技術功能區塊的授權。
為了增加感測數據的豐富性和空間資訊,imec已著手開發下一代採用4×4的MIMO雷達系統,以及新的雷達晶片(將採用Tx和Rx是分離的兩顆獨立晶片的設計)。這將使MIMO陣列元件在可用電路板區域的分布更有彈性。同時他們也將探索獨立的雷達晶片功能能否被增加,以實現擁有更大晶片陣列的MIMO系統。
Dewilde指出,此次在Future Summits展出的140GHz雷達系統原型(圖2),採用的是2×2 MIMO設計,所以只能做一個方向的角度偵測,下一個系統,會使用新版晶片,預計研發4×4 MIMO,有更多天線,以達到3D偵測。
圖2 imec研發團隊負責人Andy Dewilde利用imec 140GHz雷達系統原型,展示手勢辨識應用。
毫米波雷達感測有可為
與其他類型的動作感測技術相比,例如基於飛時測距(Time-of-flight,...
信驊獨門影像拼接方案助攻 360相機掀4K即時串流風
360度全景攝影機技術規格大躍進。伺服器管理晶片大廠信驊科技跨足360度全景影像處理晶片有成,其所研發的晶片內影像拼接(In-camera Stitching)專利技術,能讓消費性360度全景攝影機實現4K影片即時串流,而毋須透過電腦進行後製轉檔,可望促成消費性360相機的全面升級,擴大4K 360影片即時串流與直播應用新熱潮。
信驊科技360度全景影像處理晶片,採硬體電路方式實作影像拼接演算,讓消費性360相機毋須再透過PC後製,就可即時串流4K 360影片。
看好VR與360度全景攝影機發展前景,信驊自3年多前即開始積極布局,並藉由收購影像相關矽智財(IP)切入360度全景攝影機影像處理晶片市場,歷經2年多潛心研發,2018年成功以專利技術打造出首款以硬體電路方式實作拼接演算法的影像處理晶片Cupola360,為消費性360度全景攝影機實現4K即時影像拼接,帶來新的發展契機。
信驊科技產品開發部經理周辰威表示,今年台北國際電腦展(Computex),信驊再乘勝追擊,不僅演算法更加精進,晶片規格也提升至可支援6顆500萬畫素鏡頭,讓影片解析度可達5.7K,相片解析度達8K(3,000萬畫素),並且可支援RTMP/RTSP等即時串流協定,讓合作廠商更容易進行開發。同時,該公司也開發出基於雙鏡頭180度影像處理晶片的居家/公共監控系統;基於4鏡頭360度全景影像處理晶片的視訊會議系統;以及基於6顆鏡頭360度全景影像處理晶片的消費性360度攝影機,展示各種可能的應用情境。
周辰威指出,Cupola360是以硬體電路方式實現晶片內影像拼接,由於演算法設計獨到,因此只須使用一般規格的ARM架構處理器,即可達成即時360影片串流與直播,且同時兼顧效能與耗電量。他進一步強調,市面上360度全景攝影機就算用PC做拼接,一分鐘的影像轉成一分鐘拼接好的影片,至少要花四分鐘以上,而藉由Cupola360方案,能做到即時拼接,讓使用者拍攝完後就可上傳Youtube等平台,而毋須再透過PC轉檔處理。
值得一提的是,信驊Cupola360影像處理晶片,只需6顆鏡頭一般廣角鏡頭(120度),即可實現4K全景影片串流直播,這意味著,全景攝影機製造商可以用相對便宜的廣角鏡頭來進行開發,而毋須用到魚眼鏡頭,因此整體成本也可以更有競爭力。
據悉,信驊在消費性360度全景攝影機方面,已有成功的合作案,並已開始貢獻營收,很多廠商都已緊鑼密鼓在開發產品,如台灣新創公司dp smart即採用Cupola360開發產品ROGY,並已在Kickstarter成功募資,預計2019年9月開始出貨。
周辰威透露,下一代晶片設計目標,是將即時拼接影像的解析度等級提升至8K,而不透過PC後製,同時增強人工智慧(AI)、防手震等功能;而為達此一目標,除將持續精進演算法外,也會從系統開發的每個環節進行優化。
另外,信驊也相當著力於產業生態的建立。周辰威指出,該公司不僅擁有硬體晶片方案,也提供完整APP行動應用軟體,讓開發商毋須自行投入人力研發,並希望藉此凝聚使用社群。未來,將致力協助客戶實現更多應用,以建立完整的360全景攝影應用生態體系,促進VR產業的蓬勃發展。
好還要更好 Arm持續提升CPU效能滿足5G需求
5G高速、低延遲、大頻寬的特性,使無線傳輸的頻寬持續加大,資料量也跟著與日俱增,且邊緣的運算需求也不斷提高。因此Arm積極布局5G相關領域,透過提供更快速的CPU處理,提升使用者體驗。
Arm市場行銷副總裁Ian Smythe表示,對於運算密集的機器學習(ML)、擴增實境(AR)與其它在裝置上全新與新興的使用案例,5G都是不可或缺的需求。它會帶來更快的速度、超高的流量(介於5~20 Gbps)、全新的觀賞體驗、8K解析的影片串流,以及360度影像。
Ian也提到,5G就緒是一個前所未有的機會,而目前最重要的就是要能夠支援各種新興案例和服務類型所需的龐大運算量。5G的推出可能會帶來許多系統設計挑戰,這些挑戰將集中在三個方面,尺寸、功耗和效能。如果產品不符合標準,5G的機會將是多餘的。
然而5G的速度提升對於設備的功率和散熱將是一大挑戰,且設備和電池越來越薄,因此設計也更加困難。此外,5G更高的傳輸量將挑戰整個系統運算的極限。因為5G有無限的潛力,但仍然有許多未知的挑戰。但Ian表示,客戶對運算量的需求是永無止境的,而Arm的目標就是提供更快的CPU處理效能,讓客戶可以有良好的使用體驗。
為此,Arm推出了Cortex-A77,Cortex-A77在提供效能與效率提升的同時,全新CPU也延續當初Cortex-A76所實現的各種功能。把時光回溯到2018年,Cortex-A76超過20小時的電池續航力是當時的關鍵功能,而Cortex-A77也將持續此一趨勢。這意謂著與Cortex-A76一樣能提供多日的電源續航力,且效能更提升。
Ian透露,Arm也計劃於2020年推出一個效能更好的產品。由於人們對運算量與傳輸速度的要求不斷上升,Arm承諾將不斷提升CPU運算效能,迎接無論是5G或是其他未來的挑戰。
結合大流量/低延遲 電競開拓5G應用新藍海
隨著5G設備陸續就位,應用發展也跟著逐漸落地。由於5G高速、低延遲的特色,需要大流量呈現高解析度與追求即時性的電競(eSport)產業便相當看好5G所能提供的嶄新發展。
資策會MIC資深產業顧問兼主任張奇表示,5G加上電競的應用將會是產業新藍海。國內的電信商如中華電信和中國的電信業者們,都已經開始投入電競領域。由於電競對於時間有非常嚴格的要求,即使只差了零點幾秒,對於遊戲的整體體驗和結果就會有非常大的影響,可謂失之毫釐,差之千里。
而5G低延遲的特性,不僅可以解決上述問題,同時還可以讓電競選手從遠端操控整個團隊,而不須要把比賽選手都集合在同一個地方;甚至可以做到遠端訓練團隊默契,達到在不同地點卻能同步進行動作訓練的成果。
張奇進一步說明,以5G標準的進程來看,R16標準要到2020年初才會底定,低延遲、大流量的服務屆時才能真正開始提供。因此,目前電競業者們在5G應用上的技術開發都還在實驗室研發的階段,須等待5G網路確定上路,電競相關應用才能落實高速低延遲的願景。
5G在消費型娛樂產業值得一提的應用還有Cloud XR,舉例來說,Niantic便與DT合作打造5G AR遊戲,利用5G的低延遲、高頻寬特性加上邊緣運算(Edge Computing)能夠實現AR多人即時對戰遊戲,並可以期待未來將會有多人/多寶可夢的互動遊戲。
媒體/無人機/醫療應用先行 5G商用雛型漸具
2019年可謂5G商用化的元年,無論是5G晶片、電信基礎建設或服務皆陸續起跑上路。如高通(Qualcomm)、英特爾(Intel)接連宣布推出5G晶片,Verizon率先推出5G Home商用服務;雖說目前5G應用服務發展尚未完全明朗,但大致5G生態環境已有了雛型。根據2019 CES展會上電信商與各產業推出的解決方案來看,預計將以媒體、無人機與醫療科技應用率先起跑,期能為相關產業帶來創新價值。
5G大頻寬、大連結與低延遲的特性,為各行各業帶來許多發展機會。而電信商做為串連各產業應用的角色尤其重要。為了創造更多5G應用機會,Verizon就曾祭出百萬獎金徵求5G應用點子的活動,期能從中找尋新的5G服務商機;與此同時,該公司更與媒體業、航空業及醫療產業有相關合作方案,由此可看出Verizon布局5G的企圖心。
工研院產科國際所組長紀昭吟表示,在媒體產業上,Verizon借助5G大頻寬特性,協助Disney製片廠打造5G網路,使拍片團隊即便到偏遠地區拍攝影片,也能快速的將拍攝內容回傳至製片中心;此外亦與紐約時報合作創建5G新聞實驗室,讓記者在新聞內容產製過程中,加入一些擴增實境(AR)與虛擬實境(VR)的元素。
無人機應用則是發揮大連結的效能。紀昭吟談到,在飛行安全部分,Verizon致力於成為首家擁有100萬架接入其5G網路的無人機運營商,未來將與南方航空合作,採取無人機執行安全任務,讓能夠超越可視飛行視線的無人機,研究陸地上不可見的地點。
最後,在醫療科技的應用主要是訴求低延遲效能為主,無論是Verizon或AT&T在這個領域皆有所布局。紀昭吟指出,Verizon與Medivis合作,實現影像同步傳輸功能做為手術輔助的應用,醫生透過配戴無線AR眼鏡的方式,將影像傳到螢幕進行同步操作,進而提升手術操作的精準性;此外,遠距醫療部分,可看到AT&T攜手Rush大學醫療中心合作創建5G醫院,協助隨時提供民眾護理服務功能。
從晶片端來看,高通2018年底發表全球首款5G晶片,並獲得30款終端設備採用,預計2019將陸續上市。而英特爾(Intel)雖然時程較晚,但也不甘示弱預計於2019年下半年推出5G晶片,其將具備5G無線連接與邊緣運算效能,廣泛應用於雲、網、端運算設備。
紀昭吟認為,5G終端裝置將會以「聯網」設備先行,類型包含行動分享器(Hotspot)、家用網路設備(Router、CPE)小型基地台(Small Cell),和手機原型機等,不過手機並非主打重點。於日前2019 CES展會上,各家推出各式各樣具備聯網功能的產品,其中三星(Samsung)展示的5G方案最為齊全,在家用網路設備主要搭載高通X50 5G晶片,符合3GPP第15版5G NR規範。
綜合上述所言,紀昭吟分析,從5G的服務、終端裝置到晶片發展來看,看似與4G應用服務相似度極高,但深入來看其實大有不同。舉例來說,過去4G醫療重點在於遠距離的影音傳輸效能,而5G醫療則是強調低延遲效能,從規格上比較,可看到4G時代延遲性要求為100~1ms,而5G變成10~1ms的延遲,後者可滿足更精細的醫療應用,也是工研院產科國際所認為5G的發展重點。
施耐德智慧工廠成工業4.0重要發展指標
世界經濟論壇組織日前在中國天津舉辦第12屆「新倡議者年會(Annual Meeting of the New Champions)」,施耐德電機(Schneider Electric)位於法國勒沃德勒伊的工廠獲選為全球九大先進「指標(Lighthouse)」工廠之一,表彰其成功將第四次工業革命的科技帶入現代生產製程。
獲選為「指標」的工廠必須達成全面導入多項第四次工業革命的創新科技,同時兼顧以人為本及永續發展的核心創新策略。施耐德電機的勒沃德勒伊工廠因為導入擴增實境(Augmented Reality)等數位工具,讓操作人員便於監測工廠內部的作業、維修與能源使用,成功幫助降低30%的維修成本,並提升7%的總體運作效率。
施耐德電機成功應用第四次工業革命科技,帶領智慧工廠朝向未來發展。第四次工業革命將有效提高生產力,並預期為全球經濟帶來3.7兆美元的產值。本次年會便依據第四次工業革命科技對工廠在財務面與營運面的影響,從全球超過1,000家製造業者中選出最具代表性的典範,給予「指標」(lighthouse)的肯定。
施耐德電機的勒沃德勒伊工廠獲選為大規模應用第四次工業革命科技的全球九大先進「指標」工廠之一。工廠本身應用EcoStruxureTM AOA(Augmented Operator Advisor)等最新數位工具,提高作業人員的操作與維修效率,提升2%至7%的生產力。首次應用EcoStruxureTM Resource Advisor即可帶來高達30%的節能效果,整體效益也會在未來數年內持續提升。
CEVA瞄準穿戴/醫療保健/無線物聯網市場推SoC新品
CEVA近日宣布低功耗無線通訊SoC器件的創新供應商InPlay Technologies已獲得授權許可,在其最新的SwiftRadioTM SoC中部署使用CEVA的RivieraWaves藍牙低功耗IP。這款SoC器件將以低功耗無線應用的各種終端市場為目標,其中包括穿戴式設備、醫療保健、工業、VR/AR和物聯網。
SwiftRadioTM IN6xx是一款高整合度的單晶片解決方案,結合了CEVA成熟的RW-BLE5 IP與InPlay的超低功耗RF及專有多模式協作協定,以確保下一代的低功耗無線網路應用能夠以最低功耗實現同類最佳的性能。SwiftRadioTM SoC器件所採用的高性能RF設計是無線物聯網應用中的一項關鍵優勢。憑藉業界領先的-97.5 dBm Rx靈敏度和極低功耗設計(睡眠電流可低至500nA),SwiftRadioTM IN6xx SoC器件將可支援許多新興應用,尤其是以電池供電的產品。
這款SoC器件整合了高性能Arm Cortex-M4F微處理器和子系統、浮點處理單元、256KB ROM和64KB SRAM,以及豐富的周邊。開發人員可利用此一SoC平台所提供的所有資源來開發無線應用,而無需為系統設計增加額外的微控制器和記憶體。考慮到物聯網日益增長的安全需求,SwiftRadioTM SoC內建有硬體安全引擎,如AES256、SHA256和ECC256,並支援已鑑別的安全啟動(Authenticated Secure Boot)。
MicroLED顯示器2023年挑戰2.5億裝置搭載
MicroLED顯示器被視為顯示器明日之星,近年有許多廠商投入開發,就在技術瓶頸逐漸克服之際,產業研究機構Yole Développement表示,2019年MicroLED將走上量產之路,預計小量出貨搭載在610萬個裝置上,2021年以後成長逐漸加速,裝置搭載量將突破5000萬,2022年正式破億,2023年將挑戰2.5億裝置搭載量。
在應用部分,Yole認為,從2019年開始,MicroLED將從中小型顯示器開始發展,智慧手表與擴增實境(AR)、混合實境(MR)裝置是最早期的應用,接著將有平板電腦與高階電視導入,至於產業高度關注的智慧型手機,預計將從2021年開始導入MicroLED,並在2022與2023年加速,也是促成MicroLED出貨量起飛的關鍵,最終智慧型手機應該是MicroLED應用主流,也帶動其於2024年正式突破3億裝置搭載量。
IDC:AR/VR頭戴裝置產業發展漸入佳境
跟據產業研究機構IDC(International Data Corporation)最新研究報告指出,預計2018年獨立式和非獨立式擴增實境(AR)和虛擬實境(VR)頭帶式裝置的全球出貨量將達到420萬台,較2017年成長31%。預計到2022年,這些頭戴式裝置的出貨量將增加至5310萬台,年複合成長率(CAGR)為88%。
IDC表示,已更新其預測以進一步推動AR頭戴裝置的成長,因為智慧手機和平板電腦的AR進展將繼續超過頭戴裝置,蘋果的ARKit繼續改善在iOS設備上使用AR的體驗,谷歌的ARCore正在越來越多的Android設備上使用,而8th Wall和PTC等第三方SDK供應商將繼續推動這一領域的創新。
雖然大多數以消費者為中心的AR應用專注於智慧手機和平板電腦,但商用AR正在推動獨立式和非獨立式AR頭戴裝置的出貨量。IDC預計該類別到2020年將超過100萬大關,此後成長將大幅增加。隨著越來越多的供應商進入市場,額外的使用案例開始實現,價格下降,預計到2022年底,AR裝置的總出貨量將達到2160萬台,CAGR高達214%。
而在VR應用部分,儘管最近VR頭戴裝置市場出現衰退,但隨著全球出貨量躍升至860萬部,該市場的成長將在2019年重拾成長動能。這種成長的大部分來自於非獨立式和獨立式設備的日益普及,特別是在商業領域,以及無螢幕VR頭戴裝置出貨量的下降。2022年VR頭戴式裝置產業用與消費性產品,預計出貨量總計將達到3149萬台,CAGR達67.2%。