基于深度置信網(wǎng)絡的中文信息抽取方法.pdf

1、信息抽取是指從非結(jié)構化或者半結(jié)構化的文本中標明用戶感興趣的內(nèi)容，并且將其組織成結(jié)構化文本的過程。在這個知識爆炸的時代，需要信息抽取技術快速準確地提供海量文本中的重要內(nèi)容。
　　深度置信網(wǎng)絡(DBN, Deep Belief Nets)網(wǎng)絡是近年興起的機器學習模型，它結(jié)合了無監(jiān)督學習過程和有監(jiān)督學習過程，在圖像處理領域已取得巨大成就，但是在信息抽取領域的運用還有待開發(fā)。本文利用DBN網(wǎng)絡進行以下兩個任務：
　　(1)中文實體檢

2、測與識別任務；
　　(2)中文實體關系檢測與識別任務研究內(nèi)容主要有以下四點：
　　(1)研究DBN網(wǎng)絡在實體檢測與識別任務中的運用。實體檢測與實體識別可以順序進行，即按任務順序建立兩個模型，也可以組合進行，即在一個模型中同時得出檢測與識別的結(jié)果。本文利用DBN網(wǎng)絡按照這兩種策略分別建立實體檢測與識別系統(tǒng)。實驗模型分別基于詞特征和字特征展開，以比較這兩種特征提取形式結(jié)合DBN網(wǎng)絡后，在實體檢測與識別任務中的優(yōu)劣。實驗還對不同神

3、經(jīng)元數(shù)量的淺層DBN網(wǎng)絡的結(jié)果，淺層DBN網(wǎng)絡與深層DBN網(wǎng)絡的結(jié)果， DBN網(wǎng)絡與其他機器學習模型的結(jié)果進行了比較，闡述了它們各自的特點。
　　(2)引入維特比算法對DBN網(wǎng)絡的實體檢測與識別結(jié)果進行后處理，進一步提高DBN網(wǎng)絡對實體檢測與識別的結(jié)果。進行實體檢測與識別任務時， DBN網(wǎng)絡忽略了當前字符與上下文字符的標記限制，本文利用維特比算法對DBN網(wǎng)絡輸出結(jié)果進行后處理，尋找最大概率的標記序列，剔除不符合邏輯的標記。本文分別

4、采用了實際概率和二元概率進行維特比后處理。實際概率由訓練語料統(tǒng)計得到，貼近實際情況但是不一定適合測試語料。二元概率賦予符合邏輯的狀態(tài)同等概率，降低了對標記序列的限制。
　　(3)研究DBN網(wǎng)絡在實體關系檢測與識別任務中的運用。本文利用DBN網(wǎng)絡建立實體關系檢測和實體關系識別順序進行的系統(tǒng)，以及實體關系檢測與實體關系識別組合進行的系統(tǒng)。實驗依然是在詞特征和字特征兩種字符特征上展開，比較兩者對于此任務在DBN網(wǎng)絡中的適用性。關系樣例的

5、特征組合包括一元字符特征，實體相對位置特征和依存樹特征等7種特征。實驗分別在不同神經(jīng)元數(shù)量的淺層DBN網(wǎng)絡和深層DBN網(wǎng)絡上進行，以確定最好的網(wǎng)絡結(jié)構。并且將DBN網(wǎng)絡的結(jié)果與其他機器學習方法的結(jié)果對比，驗證深層DBN網(wǎng)絡是適合于實體關系檢測與識別任務的模型。
　　(4)使用兩種方式改進DBN網(wǎng)絡的學習過程，使它的實體檢測與識別任務的結(jié)果得到優(yōu)化。利用梯度下降法進行有監(jiān)督學習會遭遇“導數(shù)消亡”問題，網(wǎng)絡的錯誤信息很難傳送到靠近輸入