基于領域本體的Web文檔自動摘要關鍵技術研究與實現(xiàn).pdf

1、Internet作為海量信息的載體越來越受到人們的青睞，人們在享受網絡便捷的同時也被其大量涌現(xiàn)的無用Web頁面信息所困擾，如何快速、準確地定位對用戶有用的Web信息已成為當今學術界研究的一大熱點。Web文檔自動摘要技術聚焦于解決這一問題，其思想是利用計算機快速處理Web頁面并自動總結出其文檔的核心內容，使得用戶可以根據自動概括出的核心內容來判斷Web頁面的價值，從而大大提高用戶準確獲取信息的速度。 從現(xiàn)有研究看，利用Web文檔自

2、動摘要技術生成的摘要質量很難令人滿意，原因在于兩方面：其一，Web頁面上使用的HTML標簽不規(guī)范及大量噪音信息的存在影響了Web文檔摘要抽取的準確率；其二，現(xiàn)有的自動摘要技術僅基于統(tǒng)計方法，忽視了對文檔內容和主題的分析，導致生成的摘要質量不高。針對這些不足，本文首先提出了一種以文本塊為單位的、自底向上的Web文檔抽取算法(BWTE算法)，從而有效地提高Web文檔抽取的準確率；其次，本文提出基于領域本體的文檔自動摘要算法(OntoSVD算

3、法)，將語義分析引入到基于潛語義分析模型的自動摘要算法中，進而提高生成的自動摘要質量。基于BWTE和OntoSVD算法，作者實現(xiàn)了原型系統(tǒng)MIA，驗證了這兩個算法的有效性。 本文的主要研究成果可以歸納為： 1)在現(xiàn)有的Web文檔抽取方法基礎上，提出了一種以文本塊為單位的自底向上抽取算法-BwTE(Block—base Web Text Extraction)算法，先后使用過濾和抽取的方法對Web頁面進行處理，從而得到We