信息檢索中用戶需求的概念分析研究.pdf

1、當今信息時代人們從海量信息中獲取自己所要的信息已經成為日常生活和工作所需。目前信息檢索系統(tǒng)只能提供給使用者有限的幫助，局限性在于檢索準確率低下，即檢索返回結果中大量不需要的信息給用戶帶來的不是幫助而是困擾，是一種噪聲。問題的癥結在于現(xiàn)有的檢索系統(tǒng)采用布爾模型“與”、“或”運算這類“離散型”處理方式，從用戶需求和文檔中抽取出離散的關鍵詞進行匹配，割斷了關鍵詞之間在語義概念上的聯(lián)系，從而喪失了這些詞表達主題思想在概念上的完整性，由此產生大量

2、噪聲。關注這一現(xiàn)象和問題是本文的應用背景及其研究起始點。問題的瓶頸首先不在于提高效率的算法上，首要關注點在于如何在整個檢索過程中保證用戶需求概念完整性（整體性）。因此至關重要的起步是探索如何用概念分析方法標引需求。標引的基本單位不再是純屬形式上的字串而是由漢語詞匯所表示的概念及其關聯(lián)關系構成的完整整體。
　　 本文研究漢語用戶需求的概念分析及其標引，是概念檢索系統(tǒng)及其創(chuàng)新思想的首要組成部分。本質上還原了用戶的檢索意圖，刻畫了概念

3、之間的內在聯(lián)系，旨在保證概念的完整性，直接影響檢索性能和實效。與文檔分析不同，需求分析的目的不僅是得出用戶需求的一個完整的概念（圖）表示，更重要的是能準確刻畫用戶腦海中檢索需求所揭示的概念內涵特征。本文注重于用戶需求實際現(xiàn)象研究，即實際需求所揭示的概念的分析及其表示形式的歸納，建立了一些探索性方法，處理受限需求分析問題，以期之后可能擴展到整個需求分析領域。
　　 本文研究工作是概念檢索模型的重要組成部分，為需求概念語義分析提供了

4、有價值的思路和方法。此外對于自然語言處理領域中的一些熱點問題，如命名實體識別、語法調試、語義分析等研究有積極意義。
　　 本文的創(chuàng)新性有以下幾方面:
　　 1.用戶需求表達式分析充分體現(xiàn)漢語本體的特點，概念分析及其表示凸現(xiàn)了漢語命名實體直接表現(xiàn)概念內涵的特點，實體命名形式反映了概念直接耦合:實體類名加上凸現(xiàn)必要區(qū)分特征。概念語義分析有創(chuàng)新。
　　 2.選擇漢語復合結構作為漢語詞語表達式的核心結構，極大的優(yōu)點在于能

5、簡潔扼要表征表達式的概念語義，并且其前瞻性在于適合于多語種翻譯自動對齊時簡化、省略形態(tài)變化，這是基于人類語言體系不同但認知概念可以相通的基本假設。
　　 3.提出了針對部分需求的概念模型。需求概念分析基于需求表達式本身的研究分析。本文基于大量真實需求實例分析，總結了需求分析的原則要點，以及需求概念類型。歸納了一部分需求中常見的屬性名，用以標引概念之間關聯(lián)理據。
　　 4.提出了一種全新的合一文法調試方法。方便地改造一個已

6、有的基于合一文法的句法分析器，使之適用于新的領域，特別是針對需求表達式的分析。本文將一個合一文法建模成Kripke結構，通過模型檢測的方法形式化驗證。調試方法能夠自動發(fā)現(xiàn)文法錯誤，從而大大降低調試的復雜度。
　　 5.針對需求中高頻出現(xiàn)的復雜命名實體，提出了一種基于網絡挖掘的命名實體識別方法。由此構建了一個兩層的關鍵詞形式需求原型分析系統(tǒng)。該系統(tǒng)先將需求表達式中分析出的概念匹配到概念框架圖上，框架圖反映了領域知識;再余下未匹配的

7、需求概念附著到框架圖上以構成最終的概念圖。該系統(tǒng)較好地平衡了對于領域知識和通用知識的分析。
　　 6.提出了一種基于實例的問句形式需求的概念分析方法，該方法將一個問句的概念分析問題轉化為一個機器翻譯的問題，其中問句作為源語言，概念圖作為目標語言。實際語料分析表明，即使實例集較小，該方法仍能取得較好結果。問句的相似度計算考慮了詞匯語義和句法等多種信息，詞匯的語義相似度計算采用了混合多種計算模型的集成方法。有利于句子相似度的計算并在