藏文信息處理中若干關(guān)鍵技術(shù)研究.pdf

1、隨著藏文信息技術(shù)的發(fā)展和進(jìn)步，藏文字處理技術(shù)已經(jīng)日趨成熟。其中UNICODE藏文編碼國際標(biāo)準(zhǔn)的公布和OPENTYPE技術(shù)在藏文字體設(shè)計(jì)上的成功應(yīng)用，使得長(zhǎng)期存在的編碼不統(tǒng)一的問題得到了有效解決，極大地促進(jìn)了藏文信息處理技術(shù)的進(jìn)一步發(fā)展。隨著藏文字處理技術(shù)的成熟和互聯(lián)網(wǎng)在廣大藏區(qū)的普及和推廣，各種藏文電子資源如雨后春筍般涌現(xiàn)在互聯(lián)網(wǎng)上，這些電子資源為藏文信息處理技術(shù)的發(fā)展奠定了數(shù)據(jù)基礎(chǔ)。因此現(xiàn)在越來越多的研究人員開始投入到藏文詞處理、短語

2、處理和句法處理技術(shù)中，并傾向于使用機(jī)器學(xué)習(xí)方法來處理藏文自然語言的各種任務(wù)。由于各種因素的制約，藏文信息處理技術(shù)還不能達(dá)到英語、漢語等大語種的處理水平，還存在許多有待進(jìn)一步解決的問題。本文針對(duì)藏文信息處理技術(shù)中現(xiàn)階段需要亟待解決的幾個(gè)重要問題進(jìn)行了討論和研究，并提出了相應(yīng)的解決方案和算法。具體內(nèi)容包括:
　　1、針對(duì)文本質(zhì)量問題，研究了藏文音節(jié)拼寫檢查算法和藏文文本自動(dòng)校對(duì)方法。(1)針對(duì)藏文音節(jié)拼寫錯(cuò)誤問題，分析了藏文拼寫錯(cuò)誤類

3、型，研究了藏文字性組織法，建立了藏文音節(jié)規(guī)則模型，提出了藏文音節(jié)識(shí)別算法和藏文音節(jié)拼寫檢查算法;(2)針對(duì)藏文文本中存在的梵音轉(zhuǎn)寫藏文錯(cuò)誤、接續(xù)關(guān)系錯(cuò)誤、詞語錯(cuò)誤、語法錯(cuò)誤等問題，研究了藏文自動(dòng)校對(duì)方法，設(shè)計(jì)了藏文自動(dòng)校對(duì)系統(tǒng)框架，提出了藏文音節(jié)檢查方法、梵音轉(zhuǎn)寫藏文檢查方法和詞語檢查方法，并提出了藏文接續(xù)關(guān)系檢查算法。
　　2、針對(duì)藏文文本中停用詞的預(yù)處理問題，研究了詞頻統(tǒng)計(jì)、文檔頻數(shù)、熵計(jì)算方法的藏文停用詞自動(dòng)選取方法，提出了

4、藏文虛詞、特殊動(dòng)詞和自動(dòng)處理相結(jié)合的藏文停用詞選取方法，該方法可確定一個(gè)較合理的藏文停用詞表，同時(shí)發(fā)現(xiàn)藏文詞分布也滿足Zipf定律，并分析了藏文虛詞、特殊動(dòng)詞以及高頻詞區(qū)的分布情況。
　　3、針對(duì)藏文文本中命名實(shí)體識(shí)別問題，研究了觸發(fā)詞、虛詞、人名詞典和指人名詞后綴為特征的條件隨機(jī)場(chǎng)（CRF）的藏文人名識(shí)別技術(shù)，提出了基于字（音節(jié)）和字位信息的人名識(shí)別方法，分析了不同特征組合與特征優(yōu)化、細(xì)化不同虛詞對(duì)人名識(shí)別的作用。還提出了一個(gè)基