我們可以學著瞭解設備發出的正常聲音為何，如此當聲音出現變化時，才可以確認其已經出現了異常；之後再瞭解是什麼問題，而透過這樣的方式將聲音和特定的問題聯繫在一起。識別異常可能需要進行幾分鐘的訓練，但將聲音、振動和原因結合起來實施診斷可能需要一輩子的時間。經驗豐富的技工人員和工程師可能具備這種知識，但這類人屬於稀有資源，單單透過聲音本身識別問題可能相當困難，即使使用錄音、描述性框架或接受專家親自培訓也是如此。
因此，半導體業者在過去20年裡，一直致力於理解人類是如何解讀聲音和振動的，期能建立一個系統，能夠學習來自設備的聲音和振動，並解譯它們的含義，以檢測異常行為、進行診斷。本文將以ADI的OtoSense體系結構為例進行說明，OtoSense是一種設備健康監測系統，支援我們所說的電腦聽覺，讓電腦能夠理解設備行為的主要指標：聲音和振動。
該系統適用於任何機器設備，可以即時工作，無需網路連接。目前已被應用於工業應用，可支援實現一個可擴展的高效設備健康監測系統。為了保證耐用、不可知且高效，OtoSense設計理念秉持幾個指導原則：
．從人類神經學中獲得靈感，人類可以透過一種非常節能的方式學習和理解他們所聽到的任何聲音。
．能夠學習靜態聲音和瞬態聲音，這需要不斷調整功能和持續實施監測。
．在靠近感測器的終端進行識別，應該毋須透過網路連接遠端伺服器來做出決策。
．與專家互動，向他們學習，前提是盡可能避免干擾他們的日常工作，且過程要盡可能愉悅。
本文探討了引導開發OtoSense的原則，以及在設計OtoSense期間，人類聽覺所發揮的作用。之後，將進而討論聲音或振動特性的是如何被設計出來的、如何從這些特性瞭解其代表的意義，以及在持續學習中如何不斷改變和改進OtoSense，用於執行愈加複雜的診斷，且結果更為精準。
人類聽覺系統對照OtoSense解析
聽覺是一種關乎生存的感覺。它是對遙遠、看不見的事件所產生的整體感覺，在出生前就已成熟。人類感知聲音的過程可以藉由四個熟悉的步驟來描述：聲音的類比擷取、數位轉換、特徵提取和解讀。在本文每個步驟中，都會將人耳與OtoSense系統來進行比較。
首先是類比擷取和數位化。中耳中的膜和槓桿捕捉聲音，然後調整阻抗，將振動傳輸到充液腔道中。在那裡，另一層膜會根據訊號中存在的光譜成分選擇性地移位；而這反過來彎曲了彈性單元，這些單元發出數位訊號，反映出彎曲程度和強度。然後，這些單獨的訊號會透過按頻率排列的平行神經傳遞到初級聽覺皮層。
在OtoSense中，這項工作由感測器、放大器以及轉碼器來完成。數位化過程使用固定的採樣速率，可在250Hz和196kHz之間調節，波形以16位元編碼，然後儲存到大小為128到4096之間的緩衝區。
特性提取則發生在初級皮層。頻率域特性，如主頻率、諧波和頻譜形狀，以及時間域特性，如脈衝、強度變化和在大約3秒時間窗內的主要頻率成分。OtoSense則使用一個時間窗，我們稱之為「塊(Chunk)」，它以固定的步長移動。這個塊的大小和步長範圍為23毫秒到3秒，具體由需要識別的事件和在終端提取特性的取樣速率決定。在下一節中，會根據OtoSense提取的特性進行更詳細地解釋。
而解析發生在聯絡皮層，它融合了所有的感知和記憶，並賦予聲音以含義(比如透過語言)，在塑造感知期間扮演核心作用。解析過程會組織我們對事件的描述，遠遠不止是對它們進行命名這麼簡單。為一個項目、一個聲音或一個事件命名可以讓我們賦予它更大、更多層的含義。對於專家來說，名字和含義能讓他們更能理解周圍的環境。
這也是為何OtoSense與人的互動始於基於人類神經學的視覺、無監督的聲音映射。OtoSense利用圖形表示所有聽到的聲音或振動，它們按相似性排列，但不嘗試創建固定分類；這讓專家們能夠組織螢幕上顯示的各組，並為它們命名，而毋須嘗試人為創建有界線的類別。他們可以根據自身的知識、感知和對OtoSense最終輸出的期望構建語義地圖。對於同樣的音景，汽車機械師、航空工程師，或者冷鍛壓力機專家，甚至是研究相同領域，但來自不同公司的人員，都可以按不同的方式進行劃分、組織和標記。OtoSense則與塑造語言意義一樣，使用相同的自下而上的方法來給定意義。
聲音/振動/特性選擇原則
經過一段時間(如之前所示，時間窗或塊)，我們會給某個特徵分配一個單獨的編號，用於描述該時間內聲音或振動的給定屬性/品質。OtoSense平台選擇特性的原則如下：
1.對於頻率域和時域，特徵都應該盡可能完整地描述環境，提供盡可能多的細節。它們必須描述靜止的嗡嗡聲，以及咯噠聲(Clicks)、嘩啦聲(Rattles)、吱吱聲(Squeaks)和任何瞬間變化的聲音。
2.特徵應盡可能按正交方式構成一個集合。如果一個特徵被定義為「塊上的平均振幅」，那麼就不應該有另一個特徵與之高度相關，例如「塊上的總光譜能量」。當然，正交性可能永遠無法實現，但不應將任何一種表述為其他特徵的組合，每種特徵都必須包含單一資訊。
3.特性應該最小化計算量。我們的大腦只知道加法、比較和重置為0。大多數OtoSense特性都被設計成增量，如此每個新示例都可以透過簡單的操作來修改特性，而不需要在完整的緩衝區，或者，更糟糕的，在塊上重新進行計算。最小化計算量還意味著可以忽略標準物理單元。例如，嘗試用值(以dBA為單位)表示強度是沒有意義的。如果需要輸出dBA值，則可以在輸出時完成(如果有必要時)。
在OtoSense平台的2~1,024個特性中，有一部分描述了時域。它們可以是直接從波形中提取，或者是從塊上任何其他特性的演化中提取。在這些特性中，有些包括平均振幅和最大振幅、由波形線性長度得到的複雜度、振幅變化、脈衝的存在與否和其特性、第一個和最後一個緩衝區之間相似性的穩定性、卷積的超小型自相關或主要頻譜峰值的變化。
在頻域上使用的特性提取自FFT。FFT在每個緩衝區上計算，產生從128~2,048個單獨頻率的輸出。然後，該過程創建一個具有所需維數的向量，該向量比FFT小得多，但仍能細緻地描述環境。
OtoSense最初使用一種不可知的方法在對數頻譜上創建大小相同的資料桶。然後，根據環境和要識別的事件，這些資料桶將重點放在資訊密度高的頻譜區域，要麼是從能夠熵最大化的無監督視角，要麼是從使用標記事件作為指導的半監督視角來判斷。這類比了我們的內耳細胞結構，在語言資訊密度最大的地方，語音細節更密集。
支援終端/本地資料OtoSense實現即時檢測
OtoSense在終端位置實施異常檢測和事件識別，其毋須使用任何遠端設備。這種結構確保系統不會受到網路故障的影響，且毋須將所有原始資料塊發送出去以進行分析。運行OtoSense的終端設備是一種自包含(Self-contained)系統，可以即時描述所監聽設備的行為(圖1)。
運行AI和HMI的OtoSense伺服器一般託管在本地。雲端架構可以將多個有意義的資料流程聚合成為OtoSense設備的輸出。對於一個專門處理大量資料並在一個網站上與數百台設備交互的AI來說，使用雲端託管的意義不大。
運用兩種策略進行異常檢測
正常/異常評估毋須與專家進行太多交互。專家只需要幫忙確定表示設備聲音和振動正常的基線。然後，在推送給設備之前，先將這個基線在Otosense伺服器上轉換為異常模型。然後，我們使用兩種不同的策略來評估傳入的聲音或振動是否正常。
第一種策略是我們所說的「常態性」，即檢查任何進入特性空間的新聲音的周圍環境、它與基線點和集群的距離，以及這些集群的大小。距離越大、集群越小，新的聲音就越不尋常，異常值也就越高。當這個異常值高於專家定義的門檻時，相應的塊將被標記為不尋常，並發送到伺服器供專家查看。第二種策略非常簡單，任何特性值高於或低於特性定義的基線的最大值或最小值的傳入塊都被標記為「極端」，並發送到伺服器。
異常和極端策略的組合良好地涵蓋了異常的聲音或振動，這些策略在檢測日漸磨損和殘酷的意外事件方面也表現出色。
從特徵到事件識別 OtoSense要與人類密切互動
特徵屬於物理領域，而含義屬於人類認知；如果要將特徵與含義聯繫起來，則是需要OtoSense AI和人類專家之間展開互動。
我們花了大量時間研究客戶的回饋，開發出人機介面(HMI)，讓工程師能夠高效地與OtoSense互動，設計出事件識別模型。這個HMI允許探索資料、標記資料、創建異常模型和聲音識別模型，並測試這些模型。
OtoSense Sound Platter(也稱為Splatter)允許透過完整概述資料集來探索和標記聲音。Splatter在完整的資料集中選擇最有趣和最具代表性的聲音，並將它們顯示為一個混合了標記和未標記聲音的2D相似性地圖(圖2)。
任何聲音或振動，包括其環境，都可以透過許多不同的方式進行視覺化，例如，可以使用Sound Widget(也稱之為Swidget)(圖3)。
在任何時候，都可以創建異常模型或事件識別模型(圖4)。事件識別模型是一個圓形的混淆矩陣，它允許OtoSense用戶探索混淆事件。
另一方面，異常可以透過一個顯示所有異常和極端聲音的介面，進行考察以及標記(圖5)。
OtoSense的設計初衷是向多位專家學習，並且隨著時間推移，進行越來越複雜的診斷。常見過程是OtoSense和專家之間的迴圈：
1.異常模型和事件識別模型都是在終端運行。這些模型為潛在事件發生的概率以及它們的異常值創建輸出。
2.超出定義門檻的異常聲音或振動會觸發異常通知。使用OtoSense的技術人員和工程師可以檢查該聲音和其前後聲音資訊。
3.然後，這些專家會對這個異常事件進行標記。
4.對包含這些新資訊的新識別模型和異常模型進行計算，並推送給終端設備。
簡而言之，OtoSense技術旨在使聲音和振動專業知識在任何設備上都持續可用，且毋須連接網路來執行異常檢測和事件識別。在航空航太、汽車和工業監測應用中，相關技術已經被越來越廣泛地用於設備健康監測，而這表示，在曾經需要專業知識，以及涉及嵌入式應用的場景中，尤其是對於複雜設備而言，該技術都表現出了完善的性能。
