循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）是一種特殊的網(wǎng)絡(luò)結(jié)構(gòu)，特殊在于同一隱藏層的節(jié)點之間是有連接的。還有個最大的特點是在于將時間序列思想引入到神經(jīng)網(wǎng)絡(luò)構(gòu)建中，通過時間關(guān)系不斷加強(qiáng)數(shù)據(jù)間的影響關(guān)系。結(jié)合過去的經(jīng)驗記憶和現(xiàn)正在學(xué)習(xí)的知識，融合貫通得到現(xiàn)在的認(rèn)知。也就是說RNN模型不僅考慮到當(dāng)前的輸入，還賦予網(wǎng)絡(luò)對過去的記憶，并且隱藏層的輸入不僅包括當(dāng)前時刻的輸入，還需要加入上一時刻隱藏層的輸出。

0 循環(huán)神經(jīng)網(wǎng)絡(luò)的主要學(xué)習(xí)內(nèi)容

1）循環(huán)神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)

2）循環(huán)神經(jīng)網(wǎng)絡(luò)的改進(jìn)結(jié)構(gòu)

3）循環(huán)神經(jīng)網(wǎng)絡(luò)的應(yīng)用

1循環(huán)神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)

RNN可有多個隱藏層，隱藏層可不斷的循環(huán)和遞歸信息。例如，在雙層循環(huán)神經(jīng)網(wǎng)絡(luò)中，數(shù)據(jù)進(jìn)入第一隱藏層得到的輸出以一定的權(quán)重進(jìn)入第二隱藏層，然后最后一層的輸出反過來通過損失函數(shù)，反向調(diào)整各層的連接權(quán)重，利用梯度下降方法尋找最優(yōu)化參數(shù)。

RNN網(wǎng)絡(luò)結(jié)構(gòu)大致是由輸入層、隱藏層、輸出層構(gòu)成。如圖1.1所示：

雖然RNN可以處理序列信息，但比較偏向最后輸入的信息，這使得較早留下的信息越來越少，甚至丟失。同時在網(wǎng)絡(luò)訓(xùn)練過程中，梯度也會隨著時序(鏈?zhǔn)椒▌t求導(dǎo))逐漸消失，也就是我們常說的梯度消失或爆炸。

對于這一問題，目前主要采用的解決方案有：

1)避免使用極大或極小值來初始化權(quán)重。

2)改進(jìn)RNN結(jié)構(gòu)，使得它能夠很好的處理長時間的記憶問題，如今對此處理效果好的結(jié)構(gòu)有LSTM(長短期記憶網(wǎng)絡(luò))和GRU(門控循環(huán)單元)。

1.1 LSTM網(wǎng)絡(luò)結(jié)構(gòu)

LSTM是RNN的改進(jìn)。在傳統(tǒng)的RNN結(jié)構(gòu)中，隱藏層每個神經(jīng)元(也稱記憶細(xì)胞)只包含一個簡單激活函數(shù)，而LSTM在細(xì)胞中構(gòu)建了四層網(wǎng)絡(luò)結(jié)構(gòu)，5個激活函數(shù)。如圖1.2所示，它克服了原始RNN的不足，可通過門控機(jī)制回憶過去，并且有選擇性的忘記一些不重要的信息來解決學(xué)習(xí)長期依賴關(guān)系。

LSTM主要是通過遺忘門、輸入門、輸出門和細(xì)胞狀態(tài)來控制信息的傳遞。遺忘門可以理解為一種選擇性忘記策略，它控制了上一時刻有多少信息流入當(dāng)前時刻。輸入門決定了當(dāng)前的輸入有多少進(jìn)入細(xì)胞單元，輸出門控制當(dāng)前細(xì)胞單元流向下一時刻的內(nèi)容有多少。細(xì)胞狀態(tài)類似一個傳送帶，在整個鏈上運行，存在一些線性關(guān)系，信息容易流傳。

1.2 GRU網(wǎng)絡(luò)結(jié)構(gòu)

LSTM內(nèi)部結(jié)構(gòu)比較復(fù)雜，因此就衍生了簡化版GRU。

GRU可看成是LSTM的改進(jìn)，將遺忘門和輸入門合并成為一個單一的更新門，同時合并了LSTM中原有的細(xì)胞更新狀態(tài)和輸出狀態(tài)，結(jié)構(gòu)比LSTM更簡單，運行速度要更快。在實際運用方面，效果能夠與LSTM媲美，甚至更好。

1.3 Bi-LSTM網(wǎng)絡(luò)結(jié)構(gòu)

Bi-LSTM又稱雙向長短期記憶網(wǎng)絡(luò)，是結(jié)合正反兩個方向的LSTM網(wǎng)絡(luò)。LSTM擅長處理連續(xù)數(shù)據(jù)，若是單向的LSTM，就只能學(xué)習(xí)一個方向的規(guī)律，而Bi-LSTM不僅可以學(xué)習(xí)它的正向規(guī)律，還可以學(xué)習(xí)反向規(guī)律[50]。文本、語句等包含博大精深的信息，正向理解與反向理解也許是不同的句意，故使用正反兩向相結(jié)合的LSTM網(wǎng)絡(luò)會比單向LSTM網(wǎng)絡(luò)有更高的擬合度。

2 RNN參數(shù)更新

RNN模型有比較多的變種，這里介紹最主流的RNN模型結(jié)構(gòu)如下：

上圖中左邊是RNN模型沒有按時間展開的圖，如果按時間序列展開，則是上圖中的右邊部分。我們重點觀察右邊部分的圖。

2.1 前向傳播算法

有了上面的模型，RNN的前向傳播算法就很容易得到了。

2.2 反向傳播算法

有了RNN前向傳播算法的基礎(chǔ)，就容易推導(dǎo)出RNN反向傳播算法的流程了。RNN反向傳播算法的思路和DNN是一樣的，即通過梯度下降法一輪輪的迭代，得到合適的RNN模型參數(shù)U,W,V,b,c。由于我們是基于時間反向傳播，所以RNN的反向傳播有時也叫做BPTT。當(dāng)然這里的BPTT和DNN也有很大的不同點，即這里所有的U,W,V,b,c在序列的各個位置是共享的，反向傳播時我們更新的是相同的參數(shù)。

3 循環(huán)神經(jīng)網(wǎng)絡(luò)的優(yōu)缺點

單純的循環(huán)神經(jīng)網(wǎng)絡(luò)具有梯度消失或爆炸問題，當(dāng)序列很長的時候問題尤其嚴(yán)重，故一般不能直接用于應(yīng)用領(lǐng)域。LSTM和GRU是RNN的改進(jìn)版，能夠較大的改善梯度消失等問題，能夠很好地訓(xùn)練序列數(shù)據(jù)。但由于序列數(shù)據(jù)是逐步加入，不能并行運算，故訓(xùn)練速度相比CNN要慢很多，要求運行環(huán)境的配置較高。

4 循環(huán)神經(jīng)網(wǎng)絡(luò)的應(yīng)用

注意這里所說的循環(huán)神經(jīng)網(wǎng)絡(luò)是長短期記憶網(wǎng)絡(luò)LSTM和門控單元網(wǎng)絡(luò)GRU，它們常用于：

1）文本分類

2）語言識別

3）時間序列

4）文本生成

參考文獻(xiàn)

[1] https://www.cnblogs.com/pinard/p/6509630.html

[2] https://blog.csdn.net/qq_23348071/article/details/89073519

[3] https://www.cnblogs.com/arachis/p/RNN.html

[4] https://www.cnblogs.com/pinard/p/6519110.html

[5] https://www.jianshu.com/p/87aa03352eb9

(部分文字、圖片來自網(wǎng)絡(luò)，如涉及侵權(quán)，請及時與我們聯(lián)系，我們會在第一時間刪除或處理侵權(quán)內(nèi)容。電話：4006770986    負(fù)責(zé)人：張明）