基于半監(jiān)督和遷移學習的近紅外光譜建模方法研究.pdf

1、在科學與經(jīng)濟飛速發(fā)展的當今時代，企業(yè)生產過程的自動化和智能化水平日益提高，傳統(tǒng)的產品質量監(jiān)控手段難以滿足產品研發(fā)和生產控制的需求。近紅外光譜分析技術(NIR)作為一種新型、快速高效的檢測手段應運而生，大大提升了產品質量監(jiān)督管理的工作效率，已經(jīng)在石油、醫(yī)藥、煙草等行業(yè)中被廣泛應用。通過總結前期在“智能感官評估方法”課題的研究結論得知，當模型的輸入是信息不夠完備的常規(guī)化學成分指標時，難以建立分類性能良好的感官模擬評估模型。傳統(tǒng)的實驗室化學分

2、析法往往檢測的成分數(shù)量有限，而近紅外光譜中包含了豐富的成分信息。近紅外光譜分析通常應用于檢測產品的化學成分含量方面，本文以近紅外光譜作為研究對象，應用多種機器學習方法，深入分析近紅外光譜中反映的卷煙產品質量以及卷煙配方中成分的關系。直接應用高維的光譜數(shù)據(jù)建立與產品質量之間的關系模型。近年的實踐應用表明，傳統(tǒng)近紅外光譜分析技術在面對成分復雜或背景噪聲干擾較大的情況時，遇到了模型穩(wěn)定性差、預測誤差較大、建模樣本量大、模型難以移植等許多實際問

3、題，現(xiàn)有的近紅外光譜建模技術亟待提升。本文從近紅外光譜分析建模的基本原理、國內外研究現(xiàn)狀分析入手，在轉導推理思想的啟發(fā)下，將半監(jiān)督學習、遷移學習方法引入近紅外光譜分析建模方法體系，主要圍繞近紅外高維光譜數(shù)據(jù)處理、光譜定性分析和定量分析建模、光譜分析模型傳遞四個關鍵技術內容展開深入研究。
　　 本研究主要內容包括：⑴當近紅外光譜與觀測數(shù)據(jù)為非線性關系時，傳統(tǒng)降維方法容易出現(xiàn)原始數(shù)據(jù)特征信息丟失、流形結構被破壞、數(shù)據(jù)分類性能下降等問

4、題。本文提出一種半監(jiān)督核鄰域保護嵌入算法(SSKNPE)。該算法基于核變換距離將非線性問題轉化為一個特征空間的線性問題，通過充分利用部分有標記樣本的先驗分類信息約束特征映射，使數(shù)據(jù)從高維映射到低維后仍能保持數(shù)據(jù)的全局結構和局部結構。實驗驗證，SSKNPE算法的降維質量優(yōu)于LLE等傳統(tǒng)流形學習算法，能更好地改善卷煙品牌識別近紅外光譜分析模型的分類性能。⑵針對傳統(tǒng)分類器的歸納推理機制存在的預測風險問題和大量有標記的訓練樣本的約束等問題，引入

5、轉導推理和半監(jiān)督學習思想，提出了一種基于近鄰傳播聚類的半監(jiān)督支持向量機算法(APS4VM)。算法將近鄰傳播聚類和混沌優(yōu)化相結合，快速搜索多個間隔最大平面的低密度區(qū)域，確定安全分類的支持決策面。算法在少量標記樣本的情況下，針對Iris數(shù)據(jù)集和卷煙口味評價數(shù)據(jù)進行實驗驗證。實驗結果表明能夠建立了性能良好、穩(wěn)健的分類模型，半監(jiān)督支持向量機具有實際工程應用價值，解決了標記樣本不足時的卷煙近紅外光譜定性分析建模困難的問題。⑶針對復雜非線性問題中傳

6、統(tǒng)近紅外光譜定量建模方法預測性能較低，要求訓練樣本足夠多等實際工程應用困難，提出一種基于量子粒子群優(yōu)化的半監(jiān)督支持向量回歸算法(QPSO-LSS3VR)。該算法結合K近鄰和置信度選樣方法實現(xiàn)半監(jiān)督學習中未標記樣本估計，采用高效的量子粒子群優(yōu)化算法搜索最佳的半監(jiān)督支持向量機回歸模型參數(shù)γ，λ，σ。卷煙總糖預測模型實驗表明，該算法基于半監(jiān)督學習思想，能在少量標記樣本的情況下快速達到較低的預測標準誤差，優(yōu)化方法提高了建模的時間效率，同時降低了

7、半監(jiān)督建模成本，解決了標記樣本不足時的卷煙近紅外光譜定量分析建模困難的問題。⑷針對近紅外光譜分析儀器之間模型通用性差的問題，分析現(xiàn)有模型傳遞方法的不適用性：建模所需的標準樣本準備條件苛刻，實際操作復雜，傳統(tǒng)統(tǒng)計方法傳遞后的模型預測性能偏低。本文創(chuàng)新性地應用遷移學習思想，提出一種新的近紅外光譜模型傳遞算法，即基于相似匹配和遷移學習的模型傳遞算法(SM-TrBoostEns)。通過非線性降維方法將近紅外光譜投影到低維空間，根據(jù)距離度量樣品的

8、相似性，篩選對目標儀器建模有益的樣本進行知識遷移，并采用遷移式Boosting技術和集成學習相結合的方式傳遞模型。通過兩臺近紅外設備之間的卷煙總糖預測模型傳遞實驗表明，該算法在目標儀器采集較少標準樣本光譜的情況下，仍能有效提升目標儀器回歸預測精度，具有一定的實用性。實驗同時也說明遷移學習方法可以在近紅外光譜模型傳遞方面繼續(xù)深入探索和改進。⑸總結本文的研究結論和創(chuàng)新工作，提出下一步研究工作重點將圍繞半監(jiān)督學習模型的預測輸出置信度、異常光譜