基于深度學習的自然語言句法分析研究.pdf

1、作為自然語言處理領域的核心任務之一，句法分析一直是研究人員關注的熱點問題。包括諸如問答系統(tǒng)、搜索串理解、語義分析和知識庫構建等在內的任務中，句法分析都是其不可缺失的一環(huán)。在深度學習技術和神經(jīng)網(wǎng)絡方法于諸多領域取得重要進展的背景下，將其與自然語言處理任務相結合成為了一個十分熱點的領域。因此，本論文旨在研究深度學習和神經(jīng)網(wǎng)絡在自然語言句法分析中的應用，其具有顯著的研究意義和應用價值。
　　本文首先研究了一個利用前饋神經(jīng)網(wǎng)絡作為分類器的

2、基于轉移的依存句法分析器。該方法較為簡單，效果尚可。通過對該模型的分析，我們對該模型進行了細致的參數(shù)優(yōu)化，使其性能獲得了提升。
　　本文提出了一個基于長短期記憶神經(jīng)網(wǎng)絡的依存句法分析模型。該模型以前述的前饋神經(jīng)網(wǎng)絡模型作為基礎，并將其作為一個特征提取器。在預訓練該特征提取器之后，我們使用長短期記憶神經(jīng)網(wǎng)絡作為轉移動作的分類器，并將貪心依存句法分析器提取的特征作為其輸入，以此訓練一個對句子優(yōu)化的遞歸神經(jīng)網(wǎng)絡分類器。該分類器不僅能夠利

3、用當前的格局特征進行分類，而且可以記憶分析狀態(tài)歷史等更豐富的信息。因此，該模型對依存句法分析中整句的分析過程進行建模，取代了貪心模型中對獨立分析狀態(tài)建模的方法。實驗結果表明，相比基線方法，模型獲得了較大的性能提升。
　　本文研究了端到端的短語結構分析模型。在對“單關注機制”序列到序列短語結構分析模型的實驗中我們發(fā)現(xiàn)了其解碼器對規(guī)則約束依賴的問題。為此，我們提出了“雙關注機制”以期減少解碼過程中對規(guī)則的依賴。通過引入“雙關注機制”，