基于條件隨機(jī)場(chǎng)的漢語(yǔ)分詞研究.pdf

1、隨著Internet技術(shù)的迅速發(fā)展，自然語(yǔ)言處理已經(jīng)成為信息處理領(lǐng)域一個(gè)引人注目的研究熱點(diǎn)。由于漢語(yǔ)的特殊性，大多數(shù)漢語(yǔ)自然語(yǔ)言處理任務(wù)都需建立在分詞的基礎(chǔ)之上，因而分詞的準(zhǔn)確程度將直接影響到一系列的后續(xù)處理。由于漢語(yǔ)自身的復(fù)雜性，分詞問(wèn)題一直是漢語(yǔ)自然語(yǔ)言處理的瓶頸問(wèn)題。條件隨機(jī)場(chǎng)是用于標(biāo)記和切分序列數(shù)據(jù)的條件概率模型，也是在給定輸入節(jié)點(diǎn)條件下計(jì)算輸出節(jié)點(diǎn)的條件概率的無(wú)向圖模型。它不需要以隱馬爾可夫模型為代表的“生成”模型那樣的嚴(yán)格獨(dú)

2、立假設(shè)，并克服了最大熵馬爾可夫模型和其他“非生成”模型所存在的標(biāo)記偏置問(wèn)題。該模型可以非常容易地將輸入序列中的任意特征加入到模型中，而且也可以將一些其他的信息加入進(jìn)來(lái)，如構(gòu)詞規(guī)則等。本文系統(tǒng)地描述了條件隨機(jī)場(chǎng)的定義、模型結(jié)構(gòu)、勢(shì)函數(shù)表示、參數(shù)估計(jì)及其訓(xùn)練方法等，并將條件隨機(jī)場(chǎng)運(yùn)用于漢語(yǔ)分詞，采用漢字標(biāo)注的分詞方法。本文應(yīng)用條件隨機(jī)場(chǎng)進(jìn)行了大量的實(shí)驗(yàn)，實(shí)驗(yàn)語(yǔ)料采用SIGHAN比賽的國(guó)際標(biāo)準(zhǔn)語(yǔ)料，并進(jìn)行了封閉式測(cè)試。實(shí)驗(yàn)分析了條件隨機(jī)場(chǎng)模型