基于詞向量與可比語料庫的雙語詞典抽取算法研究.pdf

1、雙語詞典是跨語言信息檢索和機器翻譯等自然語言處理任務中的一種基礎性資源，所以雙語詞典的抽取一直是研究者們研究的重點。目前，基于可比語料庫的雙語詞典抽取算法性能還不夠理想，而且大部分研究集中在特定領域的術語抽取。近來神經網絡在機器學習等相關領域取得很好效果，詞向量就是神經網絡在自然語言處理領域應用的代表性的成果之一，并且已經廣泛的應用于語義擴展和情感分析等自然語言處理的子領域中。
　　詞向量不僅能以向量的形式將詞語數(shù)值化，而且在單語

2、種環(huán)境中可以直接用于兩個詞語之間的相似度計算并自帶平滑功能，這一特點適合基于可比語料庫的雙語詞典抽取場景。本文將詞向量的這一優(yōu)點應用到可比語料庫的雙語詞典抽取的工作中，其中主要的工作包括兩部分內容:
　　第一，通過詞向量量化詞間關系，設計并實現(xiàn)了雙語詞典抽取算法。在單語種條件下詞向量可以很好的量化詞語之間的相關性，而一個詞語與其他詞語之間的相關性反映了詞語的部分語義信息。有學者研究表明這種詞語之間的相關性是穩(wěn)定的，因此本文將詞語相

3、關性作為詞語的重要區(qū)分特征分別構建了源語言和目標語言的詞間關系矩陣，然后通過種子詞典將源語言的詞間關系向量和目標語言的詞間關系向量映射到相同的向量空間中，最后通過詞間關系向量的相似度計算完成雙語詞典抽取的工作。實驗表明，與基于向量空間模型的經典方法相比基于詞向量和詞間關系的詞典抽取方法在準確率方面有顯著的提升，特別是對于高頻詞語其準確率提升最為顯著。
　　第二，在詞向量詞間關系模型的基礎上，提出融合詞語共現(xiàn)度的雙語詞典抽取方法，以