移動平臺下的中文短信內容過濾技術的研究與實現.pdf_第1頁
已閱讀1頁,還剩79頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

1、面向中文的短信過濾技術是中文移動市場迫切需要的一種技術。目前移動平臺上的中文短信過濾技術以黑名單過濾和關鍵詞過濾為主。本論文主要介紹了一個與當前主流中文短信過濾不同的新型過濾技術。該技術是便于在移動設備上實現,結合了中文短信的內容特征,以規(guī)則庫過濾為基礎的內容過濾技術。該技術提高了短信過濾準確率、垃圾短信召回率,降低了正常短信錯判率。 短信內容過濾是文本分類技術的一種,目前應用最廣泛的文本分類技術有很多,最大熵和決策樹兩種算法分

2、別作為基于統(tǒng)計的和基于規(guī)則的文本分類技術的代表算法大量應用于內容過濾。本文也將這兩種算法與本文提出的基于輕量級規(guī)則庫的內容過濾技術進行對比實驗,以驗證本文提出的基于輕量級規(guī)則庫的內容過濾技術是否滿足實際要求。本文提出的基于輕量級規(guī)則庫的內容過濾技術由兩部分構成:第一部分,規(guī)則匹配。規(guī)則匹配是短信內容過濾的第一階段。在該階段中關鍵詞規(guī)則匹配是核心。關鍵詞規(guī)則的匹配需要使用中文多模式字符串匹配算法。國際上經典的字符串匹配算法都是針對英文字符

3、串進行匹配的。多模式串匹配算法也是如此,例如,AC,WM等等。本文提出一種針對中文的多模式串匹配算法UIAC。同時,與UIAC算法配合還有其他規(guī)則匹配方法:短信文本長度,文本中含有的標點,電話號碼,URL等等特征。另外,在該階段還要做手機平臺上中文編碼的轉換等處理工作。該階段的輸出是中間向量文件。第二部分,過濾。過濾是短信過濾處理的第二階段。本文提出了輕量級規(guī)則庫過濾算法。該算法與最大熵和決策樹兩種經典算法相比,更加有利于在資源有限的移

4、動設備上實現。 作為對比,在規(guī)則匹配的試驗階段除了產生輕量級規(guī)則庫過濾中間向量文件外還產生了最大熵中間向量文件和決策樹中間向量文件,并且分別用最大熵模型和決策樹模型進行處理。之后對比了輕量級規(guī)則庫和其他兩種算法的準確率、召回率以及正常短信誤判率。 實驗使用的短信條數為1000條,正常短信和垃圾短信各500條。對輕量級規(guī)則庫、最大熵、決策樹分別進行了實驗,并且將三種算法結果進行比較。實驗結果顯示,輕量級規(guī)則庫與其它兩種方法

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論