- Advertisement -
首頁 標籤 ISP

ISP

- Advertisment -

瑞薩新微處理器系列搭載影像處理AI加速器

瑞薩電子(Renesas)日前推出RZ/V系列微處理器(MPU),該系列具有DRP-AI(Dynamically Reconfigurable Processor,動態可重組態處理器),是瑞薩的影像處理AI加速器。該系列的第一款產品RZ/V2M,結合專為嵌入式設備設計的即時AI推論功能(AI Inference)和良好能效。 在諸如工業和基礎設施的監控攝影機,還有零售業用掃描器和POS終端機攝影鏡頭等應用產品中,對具有即時、基於人工智慧的人像與物件辨識功能的需求正在迅速成長。然而,AI處理所需的高功耗和發熱,給嵌入式系統開發人員帶來新的挑戰。RZ/V2M利用DRP-AI出色的電源效率以實現最低4W(典型值)的功耗。如此一來便不需要散熱器和冷卻風扇,大幅簡化散熱設計。這使得RZ/V2M可以使用在袖珍設備中,或者有助於設備尺寸最小化,進而擴大將AI整合到嵌入式設備中的機會。而且,這還有助於降低物料清單(BOM)成本。 瑞薩物聯網和基礎設施事業部SoC事務部長暨資深副總裁Hiroto Nitta表示,全新的RZ/V系列,既提供高性能,又具有低功耗,這解決了視覺AI處理無法實現高水準即時性能的兩個關鍵問題。RZ/V系列將憑藉物件辨識,大幅擴展嵌入式設備中,AI可應用的範圍,比如智慧型購物車系統中的攝影機,會根據購物車中的品項自動計算總金額,工廠中的機器人可以與人類安全地協同工作,而醫療用攝影機也可以協助醫生進行診斷。 除了DRP-AI之外,RZ/V2M還具有一組影像訊號處理器(ISP),能夠以每秒30頁圖框的速度處理高解析度4K畫素。ISP採用高動態範圍(HDR)功能,能夠處理明暗差異很大的影像,還有消雜訊功能和失真校正功能,進而大幅提高了AI辨識的精確度。這樣就能確保無論天候、早晚、安裝位置為何,都能產生清晰的影像。憑藉這些整合的功能,RZ/V2M提供重大創新能力,為各式各樣的嵌入式設備帶來高精度AI和低功耗。 DRP-AI影像優化AI加速器,是從內建在RZ/A2M中的DRP發展而來的智財(IP),而DRP當時是設計來讀取2D條碼和虹膜辨識等任務。為了擴充運算處理能力,DRP功能與AI-MAC(multiply and accumulate,乘法和累加)電路相結合,使其成為利用AI推論應用的理想選擇。新的IP核心具有AI處理能力,其功率效率約為DRP的10倍,達到1 TOPS/W級。此外,由於DRP可以在每個時脈週期動態更改其操作電路的組態,因此DRP-AI增加了彈性支援不斷進步和發展的AI演算法的能力。瑞薩還計畫提供DRP-AI轉換器,這是一種專為DRP-AI為基礎開發而設計的工具,可簡化使用者學習將AI模型導入嵌入式設備的實做。
0

是德方案獲智邦選用 加速網路設備驗證/測試

是德科技(Keysight)日前宣布台灣通訊解決方案大廠智邦科技(Accton)選用是德科技的通用型測試和驗證平台,加速對用戶裝置(CPE)、Wi-Fi 無線存取點(AP),以及其他無線網路設備,進行設計驗證和製造測試。 為了因應消費者和企業不斷升高的無線寬頻需求,無線通訊廠商正努力尋覓支援多種技術的設計驗證和製造測試解決方案。 利用是德科技測試解決方案,智邦科技可透過經濟有效的方式,讓創新產品在市場中捷足先登。 近來,行動通訊業者和網路服務供應商(ISP)開始結合使用蜂巢和非蜂巢技術,在室內環境中提供可靠的網路連結。 是德科技測試解決方案適用於常見的硬體和軟體平台,並且支援多種技術,使得智邦科技等無線設備製造商,能夠輕易地實現最佳化的產品設計、研發和製造工作流程。 智邦科技總監 Weyden Wang 表示,藉由與是德科技密切合作,智邦科技可持續推動創新,以便設計並製造使用多種不同技術且適用於不同情境的高效能產品。我們的合作以互信為基礎,雙方秉持熱忱打造最卓越的產品,進而達成策略目標。 消費者和企業對於高速、可靠、無死角網路熱點連接的需求,將持續推動無線產業結合使用 CPE、小型基地台和先進 MIMO 天線解決方案,來實現密集化網路趨勢。 ABI Research 於今年 1 月公布的報告預測,光是 5G 固定無線存取裝置,其整體市場銷量將在 2024 年攀升到 700 萬個裝置。 是德科技在多個技術領域均擁有專業知識和完整解決方案,可因應整體產業生態系統多元的測試需求。
0

導入預測性維護概念 智慧建築安防效率大升級

在智慧建築應用的設計方案中,除照明控制、能源管理持續朝向更多功能、智慧發展外,建築安防管理也持續精進。為實現更智慧、高效率的安全監控,系統廠和半導體廠積極推動新解決方案。 西門子力倡被動化為主動概念 西門子積極將「預警性維護」觀念帶入安防系統,期能將智慧建築安防系統「化被動為主動」。西門子認證專案經理陳晉德(圖1)表示,何謂被動式安防?舉例而言,在家附近裝設圍籬可稱為延遲損失,因為竊賊必須先翻過圍籬才能進入家中;而在家中裝設警報器,稱為減少損失,因為當警報器一響,竊賊勢將會縮短偷竊時間。最後,若裝設了監視攝影機,這稱為紀錄損失,因為可拍攝下來被偷了哪些東西。但是,以上這些都脫離不了「損失」二字,也就是仍改變不了被偷竊的情況,這就是所謂的被動式安防。 圖1 西門子認證專案經理陳晉德 也因此,西門子希望透過「預警性維護」的概念,實現預防性的安防,而非是等事件發生之時再進行「保護」。陳晉德指出,安全防護實際來說可分為四個階段,分別是保護(Protect)、預防(Prevent)、反應(Response)和恢復(Recover)。目前除了歐美地區,其餘地區像是台灣,在建築安防仍處於「保護」階段。 舉例來說,目前的監控系統若看到建築物某個區域有可疑人士闖入觸發預防的電子圍籬警戒區,系統會發出警報,請建築物內的警衛或是工作人員將可疑人士加以驅離。此種情況仍屬於被動式安防(因為可疑人士觸發警報)。 而主動式安防則是會藉由所收集的數據(例如間隔多少時間就會有人在徘徊、徘徊多久、行為舉止等),分析歸納出不停有人來徘徊的可能原因,產生早期預警事件供建築物業主參考,同時再以這些分析為基準,業主或是系統就可擬定應變SOP,進行狀況、災害演練等,進一步杜絕此一情況發生。陳晉德說明,所謂的保護,意指等事情發生時才有所動作,這透過一般的監視攝影機就可做到。 而要達到預防(Prevent)、反應(Response)和恢復(Recover)的階段,並非單純導入更智慧化的監控應用或設備(例如人臉辨識、影像辨識等)就能實現,而是要有一個整合且具開放性的系統平台,以連接建築物內各種監控設備,同時還要能有效分析、歸納這些監控設備長期蒐集而來的資訊,最後依據這些分析結果擬定事件發生前、發生時及發生後的SOP流程和應變措施。 為此,西門子備有Siveillance Suite解決方案,以實現主動式的安防管理。此一解決方案包含全面的安防組合(從智慧影像監視、門禁控制和身份管理到入侵探測和周邊保護等),經過適當配置,可滿足特定地點或領域中客戶的具體要求。 Siveillance Control提供了廣泛的功能,可用來管理偵測器和各種警報系統。來自這些系統的訊號可進行顯示並以專門優先順序加以處理,以確保重要事件得以優先處理;如此一來便可根據複雜的建築系統結構和層級進行調整。 除了單純顯示警報和發生事件外,每個訊號還可與預先定義、擬定的指示(像是事情發生時的處理SOP)相聯,隨後根據實際情況提供給操作人員;這麼一來就可檢視事先訂定的SOP操作是否符合現況,之後再依現場實際情況進行調整、更動,以時時改進安防系統的運作,達到更高效率。 添加高效能ISP技術 監控設備影像呈現更真實 另一方面,要實現主動式安防,不僅要有開放式平台聯接各種設備、進行數據分析、判讀、歸納外,高效能的終端設備也扮演著關鍵角色。Arm物聯網事業群業務總監粘靜芳指出,安全監控和IP攝影機正以每年20%的速度成長,預計到2021年出貨量將達5億。這些設備應用十分廣泛,其中包含智慧建築監控系統中的臉部辨識、影像擷取等,而這些應用都需要更高品質的圖像或影像。 上述裝置所採用的影像技術中,其中一個關鍵環節就是嵌入在裝置內的ISP技術。ISP的關鍵功能是在擷取影像感測器的訊號,然後處理每個畫素時,提供最精準與最高畫質的影像,特別是涉及到機器學習的作業。 以裝在戶外有明亮照明處的連網保全攝影機為例,其輸出的畫面通常交雜著極光亮以及陰暗的影像區域。人的雙眼能自動調適高對比的明亮度,而數位感測器通常需要多次曝光以捕捉這樣的場景。欲真實呈現HDR場景,採用的影像技術會要求每個畫素得具備20或24位元的精準度,然而數位系統的顯示通常只支援到8或10位元,以致能處理的資料量也受到侷限。 換言之,這也意謂著ISP之後銜接的電腦視覺引擎都侷限於8至10位元的精準度。在此情況下,ISP有必要以更高的位元深度處理HDR資料,之後再進行壓縮以利後續使用。倘若動態範圍的問題沒有妥善解決,畫面中陰暗區域影像的細節就會消失殆盡。 為解決此一挑戰,Arm便推出全新的Mali-C52與Mali-C32,以對每個畫素進行超過25個處理步驟,進而強化影像輸出品質,這些步驟包括高動態範圍(HDR)、雜訊抑制,以及色彩管理;該兩款解決方案還融入了Arm的動態範圍管理以及色調映射技術,設計目標正是要克服這些元件的侷限性,以及讓觀看者能看到更清楚的暗部影像,完全無須編修或調整影像的明亮度(圖2)。 圖2 Arm透過Mali-C52/Mali-C32處理器強化影像品質。 此兩款ISP都是完整的解決方案,其中功能特色還包括:更高的ISP影像品質,透過Iridix技術提供模仿人類視網膜對比調適的精準模型,讓攝影機能像人眼一樣看到高明暗對比的影像;更高的效能,ISP每秒能處理6億畫素,能以旗艦款智慧型手機等級的畫面更新率拍出專業級攝影畫質;完整的軟體套件用來控制ISP、感測器、自動白平衡、自動對焦及自動曝光;以及彈性調校,運用全套調校與校正工具進行客觀與主觀的調校。 綜上所述,在智慧建築應用的設計方案中,照明控制之外、能源管理、安防報警可說是智慧建築三大設計要素。照明控制、能源管理效能的提升,是為了獲得更好的營運效益;而安防系統與人身安全息息相關,也因而是系統廠商、半導體業者的發展重點,隨著人工智慧(AI)、數據分析及高效能處理器的導入,未來智慧建築的安防系統將會化被動為主動,更能即時因應災害、危機處理,實現更高的安全性。
0

瞄準AI安防應用 Ambarella/Lumentum/安森美聯攻3D感測

Ambarella、Lumentum以及安森美半導體(ON Semiconductor)日前攜手共推3D感測平台,滿足智慧電鈴、門鎖等智慧門禁系統及智慧安防產品應用,已於2020年國際消費電子展(CES 2020)期間公開亮相。 Ambarella、Lumentum及安森美日前策略聯盟,共同推出3D感測平台。 安森美半導體商業感測部門副總裁兼總經理Gianluca Colli表示,該公司RGB-IR感測技術為可見光及紅外線(IR)影像提供物聯網視覺應用;Ambarella CV25電腦視覺SoC則內建影像訊號處理器(ISP),為RGB-IR感測器帶來高畫質影像,並促進AI處理能力於安全應用的創新。 傳統的結構光解決方案需同時使用IR及RGB相機模組,且需以專用ASIC進行深度處理。本次三方合推的新平台使用Lumentum的VCSEL技術,並配置安森美AR0237 RGB-IR CMOS影像感測器,以獲可見光及深度感測紅外線影像;Ambarella CV25 AI視覺SoC則支援深度處理、反欺騙演算法、3D臉部辨識演算法和影片編碼,降低系統複雜性並提高性能。 Ambarella CV25晶片的ISP支援RGB-IR色彩濾波矩陣及高動態範圍(HDR),進而在低光照和高對比度的環境提供高畫質影像;CVflow架構則提供動態偵測及3D人臉識別所需計算能力,可運作多種AI演算法以實現像是人流統計的功能;此外,具安全啟動、TrustZone和I/O虛擬化等功能可防止駭客入侵 Ambarella總裁兼首席執行官Fermi Wang表示,本次三強合作為下一代智慧門禁系統和安防裝置提供硬體平台,藉由Lumentum VCSEL解決方案、安森美半導體RGB-IR技術,以及該公司CV25 SoC所創建的3D感測平台,可降低系統複雜性並使其可靠又安全。
0

全新Arm ISP技術滿足更高畫質需求

全球IP矽智財授權廠商Arm宣布推出全新Arm Mali-C52與Mali-C32影像訊號處理器(ISP),藉由完整的解決方案提供最高的影像品質,實現智慧連網裝置即時處理更高畫質影像的需求。 在人類五種感官中,視覺是演化程度最高、感受最豐富的感官,由超過200萬條神經纖維,將視網膜的訊息傳送到大腦。而過去數十年來,數位世界一直致力於超越我們自身的視覺處理能力。創造「數位之眼」處理即時的高畫質影像,讓觀看者真實感受環境的狀況,是Arm的生態系統致力於推向一兆台聯網裝置時所面臨的眾多挑戰之一。 Arm預測,在所有連網裝置中,物聯網裝置對於嵌入式視覺功能需求最為殷切。安全(監控)與IP攝影機市場預計到2021年的年成長率將達到20%,屆時出貨量可望超過5億台;個人機器人年成長率達75%,預計到2021年出貨量將成長到200萬台;智慧家庭市場預計到2021年之前,年成長率可望達14%,規模將成長到8,800萬台,而其他包括無人機、AR/MR設備以及運動攝影機等裝置,將從新興裝置演變成大眾化的產品。 上述裝置所採用的影像技術中,其中一個關鍵環結就是嵌入在裝置內的ISP技術。全新Arm Mali-C52與Mali-C32對每個畫素進行超過25個處理步驟,這些步驟包括高動態範圍(HDR)、雜訊抑制、以及色彩管理。
0

瑞薩/MM Solutions齊推整合式開放影像訊號處理器解決方案

瑞薩電子宣布,推出一整合型開放式影像訊號處理器(ISP)解決方案,以進一步簡化與加速基於瑞薩高性能R-Car V3M和R-Car V3H系統級晶片(SoC)的汽車智慧型攝影機應用的開發。   藉由在R-Car V3x SoC上整合ISP,並利用MM Solutions所提供的汽車攝像機開發套件(Automotive Camera Development Kit, AutoCDK),R-Car SoC的開放式ISP解決方案,讓一線汽車廠商得以簡化其攝像機應用的感測器校準和調整過程(包括前端和環景),以便在此競爭激烈的產業中實現高靈活性和更快的上市時間。   此開放式ISP解決方案能支援廣泛的開發需求,包括讓具有深入ISP專業技術的使用者,透過開放式介面進行的低階編程ISP能力;或是讓使用者能夠運用MM Solutions所提供的工具和影像品質專業技術,快速啟動開發的AutoCDK。   無人駕駛時代的車輛,必須要能感知環境,而智慧型攝像機(包括前端攝像機和環景攝像系統),在交通號誌、車道、行人、車輛、和其他障礙物的即時偵測上,發揮了關鍵的作用,以提供一安全可靠的駕駛環境。同時,駕駛人會希望能看到逼真的汽車周圍視覺表現,而ISP在影像調整上正扮演著重要的角色。   瑞薩與MM Solutions合作開發了此開放式ISP解決方案,可協助客戶調整和控制其感測器,以實現人類視覺和機器視覺。將ISP視覺處理軟體整合到高性能R-Car V3x SoC上,提供了一種非限定攝像機(Camera-Neutral)的方案,讓攝像機製造商和一線客戶能自由地使用他們所挑選的ECU和感測器解決方案。
0
- Advertisement -
- Advertisement -

最新文章

- Advertisement -

熱門文章

- Advertisement -

編輯推薦

- Advertisement -