神經(jīng)網(wǎng)絡(luò)（DNN）是一種人腦的抽象計算模型，是通過類似生物神經(jīng)元的處理單元，以及處理單元之間的有機連接，解決現(xiàn)實世界的模式識別、聯(lián)想記憶、優(yōu)化計算等復(fù)雜問題。常使用神經(jīng)網(wǎng)絡(luò)處理數(shù)據(jù)分類問題。

0 神經(jīng)網(wǎng)絡(luò)的主要學(xué)習(xí)內(nèi)容

1）神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

2）激活函數(shù)

3）前向傳播算法

4）反向傳播算法

1 神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)：感知機

在前面第三章感知機，我們有學(xué)到感知機的模型結(jié)構(gòu)，它是一個可有多個輸入，但只有一個輸出的模型，如圖所示:

輸入到輸出之間學(xué)習(xí)到了一個線性關(guān)系，得到中間結(jié)果輸出為：

從而得到我們想要的輸出結(jié)果1或者-1。

這個模型只能用于二元分類，并且無法學(xué)習(xí)比較復(fù)雜的非線性模型，因此在許多方面無法使用。

神經(jīng)網(wǎng)絡(luò)在感知機上做了擴展，主要體現(xiàn)在：

1）隱藏層，相比感知機的直接輸入到輸出，共兩層，神經(jīng)網(wǎng)絡(luò)加入了隱藏層，結(jié)構(gòu)為輸入到隱藏層，在由隱藏層到輸出層。其中隱藏層可以有多層，可增強模型的表達能力。當(dāng)然，隱藏層越多，模型就越復(fù)雜。

如圖，這個神經(jīng)網(wǎng)絡(luò)中有兩個隱藏層，每個隱藏層都會進行非線性變換(線性變換+激活函數(shù)）。一層傳遞給另一層，直到輸出。

2）激活函數(shù)不再只使用示性函數(shù)，原因在于該激活函數(shù)處理能力有限，輸出結(jié)果只有一個，這在隱藏層到隱藏層，或者隱藏層到輸出層是不能適用的，也不能為我們的分類結(jié)果作強有力的解釋。在神經(jīng)網(wǎng)絡(luò)中，我們常使用的激活函數(shù)有：

2 神經(jīng)網(wǎng)絡(luò)

2.1 基本結(jié)構(gòu)

從上一節(jié)，我們了解了神經(jīng)網(wǎng)絡(luò)是感知機的擴展，可以將神經(jīng)網(wǎng)絡(luò)看成是多層感知機模型。

從圖中，每個圓圈代表一個神經(jīng)元，可得知層與層之間的神經(jīng)元是全連接的，也就是說，第i層的任意一個神經(jīng)元一定與第i+1層的任意一個神經(jīng)元相連。從上一層的神經(jīng)元到下一層的神經(jīng)元，還是和感知機一樣，經(jīng)過一個線性關(guān)系

例：下面有個簡單的神經(jīng)網(wǎng)絡(luò)結(jié)點計算圖：

2.2 前向傳播神經(jīng)網(wǎng)絡(luò)算法

由于神經(jīng)網(wǎng)絡(luò)層數(shù)比較多，那么所用到的線性關(guān)系也就會有很多，即參數(shù)w和b有許多。那么在神經(jīng)網(wǎng)絡(luò)中如何定義這些參數(shù)呢？

這就需要神經(jīng)網(wǎng)絡(luò)進行反向傳播，可通過梯度下降法來更新參數(shù)。

2.3 反向傳播的神經(jīng)網(wǎng)絡(luò)

在進行神經(jīng)網(wǎng)絡(luò)的反向傳播前，我們需要選擇一個損失函數(shù)，來度量訓(xùn)練樣本計算出的輸出和真實的訓(xùn)練樣本輸出之間的損失，那訓(xùn)練樣本計算出的輸出是怎么來的呢？其實就是我們隨機選擇了參數(shù)W，b后進行前向傳播算法得出，即我們上一節(jié)中的aL。

2.3.1 損失函數(shù)及參數(shù)更新

在神經(jīng)網(wǎng)絡(luò)中，我們常使用均方誤差來度量損失，即對于每個樣本，有：

2.3.2 神經(jīng)網(wǎng)絡(luò)反向傳播算法過程

這就是我們的神經(jīng)網(wǎng)絡(luò)，是一種有監(jiān)督學(xué)習(xí)，自主學(xué)習(xí)訓(xùn)練集中的特征，然后利用自己所學(xué)去判斷新樣本的類型。

3 神經(jīng)網(wǎng)絡(luò)優(yōu)缺點：

3.1 神經(jīng)網(wǎng)絡(luò)的優(yōu)點：

1）實現(xiàn)從輸入到輸出的映射功能，在數(shù)學(xué)理論上已證明它具有實現(xiàn)任何復(fù)雜非線性映射的功能，適用于求解內(nèi)部機制復(fù)雜的問題；

2）通過學(xué)習(xí)實例集自動提取特征，即具有自學(xué)習(xí)能力；

3）具有一定的推廣、概括能力。

4）適用于處理大數(shù)據(jù)。

3.2 神經(jīng)網(wǎng)絡(luò)的缺點：

1）神經(jīng)網(wǎng)絡(luò)需要許多標(biāo)記樣本，數(shù)量以百萬記，且學(xué)習(xí)速度很慢

2）“黑盒子”性質(zhì)，也就是說神經(jīng)網(wǎng)絡(luò)是如何以及為什么會產(chǎn)生一定的輸出。這解釋性不強。

3）計算代價高昂，對計算機硬件要求高，費時長。

4 神經(jīng)網(wǎng)絡(luò)的應(yīng)用：

1）醫(yī)學(xué)領(lǐng)域：建立神經(jīng)網(wǎng)絡(luò)使檢測儀器自動判斷腫瘤為良性還是惡性

2）計算機視覺

3）文本分布式表示

4）語音識別

參考文獻

[1] https://www.cnblogs.com/lliuye/p/9486500.html

[2] https://www.cnblogs.com/pinard/p/6422831.html

[3] https://www.cnblogs.com/pinard/p/6418668.html

[4] https://www.jianshu.com/p/798b716f0f68

(部分文字、圖片來自網(wǎng)絡(luò)，如涉及侵權(quán)，請及時與我們聯(lián)系，我們會在第一時間刪除或處理侵權(quán)內(nèi)容。電話：4006770986    負(fù)責(zé)人：張明）