粒遷移學(xué)習(xí)方法及其在序列標(biāo)注中的應(yīng)用.pdf

1、機(jī)器學(xué)習(xí)方法的一個(gè)核心目標(biāo)是提升從經(jīng)驗(yàn)出發(fā)進(jìn)行泛化的能力。遷移學(xué)習(xí)通過(guò)將已有的知識(shí)遷移到目標(biāo)域，從而達(dá)到提高模型在目標(biāo)域中的泛化能力的目的。然而現(xiàn)有遷移學(xué)習(xí)模型仍然存在負(fù)遷移、欠適配等問(wèn)題。為了解決這些問(wèn)題，需要進(jìn)一步研究與遷移有關(guān)的信息的結(jié)構(gòu)和粗糙程度。本文提出了“粒遷移學(xué)習(xí)”，將粒計(jì)算的思想引入到遷移學(xué)習(xí)領(lǐng)域中，通過(guò)信息粒化(Information Granulation)、粒模型(Granular Model)和粒度(Granul

2、arity)方法解決負(fù)遷移和欠適配的問(wèn)題。粒遷移學(xué)習(xí)方法的特點(diǎn)是考慮了特征、特征映射和結(jié)構(gòu)的粒度對(duì)遷移學(xué)習(xí)效果的影響。
　　本文主要?jiǎng)?chuàng)新性工作包括以下四個(gè)方面:
　　(1)提出了基于數(shù)據(jù)集結(jié)構(gòu)信息的粒遷移學(xué)習(xí)方法。當(dāng)源域數(shù)據(jù)集包含結(jié)構(gòu)性信息時(shí)，該方法通過(guò)對(duì)特征粒度的選擇來(lái)解決負(fù)遷移問(wèn)題。為了描述特征的粒度，提出了基于數(shù)據(jù)集結(jié)構(gòu)的信息?；椒?，建立了區(qū)間形式的信息粒，從而將特征的粒度引入遷移學(xué)習(xí)中。建立了區(qū)間二型模糊隱馬爾可夫

3、模型(Interval type-2 fuzzy Hidden Markov Model，IHMM)用于處理區(qū)間信息粒。為了使用高效的Viterbi算法進(jìn)行推斷，給出了通過(guò)隨機(jī)優(yōu)化進(jìn)行粒度選擇的方法。通過(guò)多個(gè)序列標(biāo)注實(shí)驗(yàn)表明基于數(shù)據(jù)集結(jié)構(gòu)信息的粒遷移學(xué)習(xí)方法較好地解決了與特征粒度有關(guān)的負(fù)遷移問(wèn)題，提高了模型的泛化能力。
　　(2)提出了基于對(duì)應(yīng)關(guān)系的粒遷移學(xué)習(xí)方法。當(dāng)源域和目標(biāo)域的特征之間可以通過(guò)公共表示建立對(duì)應(yīng)關(guān)系時(shí)，該方法通過(guò)

4、對(duì)特征映射粒度的選擇來(lái)解決負(fù)遷移問(wèn)題。為了描述特征映射的粒度，提出了對(duì)應(yīng)關(guān)系的信息?；椒?，通過(guò)模糊C均值方法建立了模糊集形式的對(duì)應(yīng)信息粒，從而將特征映射粒度引入遷移學(xué)習(xí)。建立了粒二型模糊隱馬爾可夫模型(Granular Type-2 fuzzy Hidden Markov Model，GT2HMM)用于處理對(duì)應(yīng)信息粒，給出了通過(guò)隨機(jī)優(yōu)化進(jìn)行粒度選擇的方法。通過(guò)多個(gè)序列標(biāo)注實(shí)驗(yàn)表明基于對(duì)應(yīng)關(guān)系的粒遷移學(xué)習(xí)方法較好地解決了與特征映射粒度有

5、關(guān)的負(fù)遷移問(wèn)題，提高了模型的泛化能力。
　　(3)提出了基于生成結(jié)構(gòu)的粒遷移學(xué)習(xí)方法。當(dāng)目標(biāo)域可以用生成模型建模時(shí)，該方法通過(guò)結(jié)構(gòu)保持來(lái)解決欠適配問(wèn)題，并通過(guò)結(jié)構(gòu)粒度的選擇來(lái)應(yīng)對(duì)在解決欠適配問(wèn)題的過(guò)程中導(dǎo)致的過(guò)擬合問(wèn)題。建立了子結(jié)構(gòu)正則化遷移學(xué)習(xí)模型(Substructuralregularization Transfer Learning Model，STLM).為了保持目標(biāo)域結(jié)構(gòu)，通過(guò)相對(duì)熵在正則化框架下引入結(jié)構(gòu)的相似性。為了

6、選擇適合數(shù)據(jù)條件的子結(jié)構(gòu)，通過(guò)一致邊界分析了不同子結(jié)構(gòu)作為正則項(xiàng)參數(shù)的條件。為了高效地進(jìn)行參數(shù)估計(jì)，推導(dǎo)出了模型的解析解，并證明了極值的充分必要條件。通過(guò)多個(gè)序列標(biāo)注實(shí)驗(yàn)表明基于生成結(jié)構(gòu)的粒遷移學(xué)習(xí)方法較好地解決了與生成模型結(jié)構(gòu)的粒度有關(guān)的欠適配以及過(guò)擬合問(wèn)題，提高了模型的泛化能力。
　　(4)提出了基于模型選擇的粒模型推斷方法。當(dāng)目標(biāo)域中存在規(guī)則性知識(shí)時(shí)，該方法作為對(duì)粒遷移學(xué)習(xí)中推斷方法的補(bǔ)充，通過(guò)在推斷中引入規(guī)則性知識(shí)來(lái)解決欠