- Advertisement -
首頁 標籤 AI,深度學習,演算法

AI,深度學習,演算法

- Advertisment -

AI演算法的撩妹語錄

LSTM演算法 圖1就是大名鼎鼎的長短記憶模型(Long Short-Term Memory, LSTM),也是遞迴神經網路(Recurrent Neural Networks, RNN)中最受歡迎的一種形式。它最早是由Sepp Hochreiter於1991發表原型,然後Jürgen Schmidhuber於1997將該理論基礎大功告成。沒錯!LSTM是個快要30歲的老演算法了,它也是被Hinton發展出的深度學習最佳化方法救活的一票演算法之一。 圖1 LSTM演算法 LSTM最大的好處在於它解決了遞迴神經網路容易發生的梯度爆炸以及梯度瀰散問題,它使用了稱之為「門控(Gate)」的機制,可以學習開啟或是關閉的時機,來控制上下文向量(Context Vector)的流動。LSTM總共有3個門控,分別是輸入門、遺忘門以及輸出門。輸入門負責管理新數據是否該納入,而遺忘門負責管理哪些舊數據該遺忘,輸出門則管理哪些上下文該納入輸出。所以,對女孩子說他的遺忘門總是關著,正是表達永不遺忘的最高禮遇。 Faster RCNN演算法 Faster RCNN(圖2)是由被粉絲們暱稱為RGB的Ross B. Girshick所發表。自2013年起發表的RCNN三部曲包含RCNN、Fast RCNN以及Faster RCNN。最終版本Faster RCNN於2015發表,是精確率最高的物體檢測演算法之一;但可惜它是先定位,再分類的兩階段模型,所以速度不高。 圖2 Faster RCNN演算法 物體檢測就是不但要知道照片裡有什麼(物體識別),還需要把它框出來(物體檢測)。Faster RCNN使用了Region Proposal Network,解決了過去算法中以人工方式產生大量候選位置區域(Proposal)的問題;並改用預埋的不同尺寸Anchor,來解決物體不確定尺寸大小與比例的問題。所以,不管天涯海角,Faster RCNN都能把妹的位置給檢測出來。 Auto-Encoder演算法 Auto-Encoder(圖3)是最古老的深度學習結構之一。它是一個漏斗型的結構,讓高維度數據逐步被降維,到了最窄處,再逐步升維,並且要求輸入必須等於輸出。這意味著最窄處被極致降維的結果必須包含重建原始高維數據的一切必要訊息。我們稱這樣的高度壓縮向量為表徵(Representation)或者是嵌入(Embedded),這也是深度學習壓縮演算法的核心網路結構,由於它沒有依賴任何外部標籤,因此被歸屬為標準的非監督式學習。所以只要看過妹的一顰一笑,它就能夠取得表徵,然後完整重現。 圖3 Auto-Encoder演算法 WaveNet演算法 WaveNet(圖4)是來自於Deepmind的得意之作,它也是目前聲音生成模型的SOTA(State-of-The-Art)。WaveNet可以模仿人類或者是各種樂器的聲音,他的模仿能力甚至連人類講話時特有的換氣呼吸聲都可以模仿。 圖4 Faster RCNN演算法 WaveNet的本質是一個一維空洞卷積,一般我們用二維卷積處理二維的影像數據,那麼一維的聲音數據當然要用一維卷積。至於空洞卷積(Dilation)則是一種特殊卷積型態,它可以有效地在不增加訓練參數的狀況下,擴大每個卷積的感知域,這樣就可以從細節到大趨勢的捕捉聲音特性。所以當然忘不了妹的聲音。 Deep Belief...
0
- Advertisement -
- Advertisement -

最新文章

- Advertisement -

熱門文章

- Advertisement -

編輯推薦

- Advertisement -