基于關(guān)聯(lián)規(guī)則的股票數(shù)據(jù)挖掘算法研究.pdf

1、作為數(shù)據(jù)分析和處理的重要工具，知識發(fā)現(xiàn)（KDD）與數(shù)據(jù)挖掘技術(shù)的相關(guān)研究成果已廣泛地應(yīng)用在金融、醫(yī)療保健、零售等相關(guān)統(tǒng)計行業(yè)，其中，關(guān)聯(lián)規(guī)則挖掘在金融統(tǒng)計、股票預(yù)測方面應(yīng)用更為廣泛，但非經(jīng)典關(guān)聯(lián)規(guī)則挖掘面臨著所謂的“高階邏輯”問題，因此本文從以下方面開展了相關(guān)研究：
　　首先，面對的對象在數(shù)量級上有本質(zhì)區(qū)別。經(jīng)典的購物籃挖掘數(shù)據(jù)量與股票挖掘數(shù)據(jù)量有本質(zhì)上區(qū)別。前者可用一個常數(shù)n來表示，而后者則只能用一個無窮符號∞來表達。對股價描述

2、，特別是對一些基于（標(biāo)的股票）價格之上的衍生資產(chǎn)，直接套用泛Apriori算法是不合適的。
　　其次，面臨的時間、空間復(fù)雜度瓶頸問題更加嚴峻。股票具有很強的隨機性、不確定性和模糊性。以往經(jīng)典的關(guān)聯(lián)規(guī)則挖掘算法不能較好地表達挖掘?qū)ο笾心：畔⒅g的關(guān)聯(lián)性。事實也證明，當(dāng)數(shù)據(jù)量較小時，用模糊關(guān)聯(lián)規(guī)則算法處理股票數(shù)據(jù)是非常有效的辦法。但面對大數(shù)據(jù)量或超大數(shù)據(jù)量卻存在時間、空間復(fù)雜度等瓶頸問題。
　　最后，會面臨信號衰竭甚至失蹤問題

3、。當(dāng)以基于事務(wù)的觀點應(yīng)用滑動窗口技術(shù)將股票原始事務(wù)數(shù)據(jù)庫D轉(zhuǎn)化為擴展事務(wù)數(shù)據(jù)庫De時會大量出現(xiàn)支持度明顯很低甚至小到都可不予考慮，然而置信度卻相對較高的有趣問題。如果一味用傳統(tǒng)的挖掘算法會很難處理這些有趣的關(guān)聯(lián)規(guī)則。
　　針對以上問題，本文證明了在對股票及其衍生品種的海量數(shù)據(jù)挖掘及算法設(shè)計中大數(shù)定律和中心極限定理依然是處理海量數(shù)據(jù)必不可少的理論基礎(chǔ)。其次，當(dāng)面對大數(shù)據(jù)量或超大數(shù)據(jù)量時，時間、空間復(fù)雜度瓶頸問題會更嚴峻，并還伴隨興趣

4、度不夠或（有趣的）關(guān)聯(lián)規(guī)則因難以發(fā)現(xiàn)而被遺漏等問題。對此我們采用向量、矩陣和降維等方法進行相關(guān)處理。但問題是股票數(shù)據(jù)矩陣往往特別大等原因以至內(nèi)存難以承受，有沒有一個理論辦法在與高維數(shù)據(jù)打交道時能避開維數(shù)過高所帶來的困難，依數(shù)據(jù)間的相依性設(shè)法把維數(shù)降低，而又不丟失原始數(shù)據(jù)中的過多信息以便數(shù)據(jù)處理知識提取呢？在相似關(guān)聯(lián)規(guī)則挖掘算法中本文對這個問題給出較完備的數(shù)學(xué)證明。即只要降維就會出現(xiàn)出錯率，但一定有辦法在誤差可控的情況下去逼近真值。

5、>　　相似度的給出是本文算法設(shè)計的關(guān)鍵之處。相似度極好地近似了置信度概念。為了進一步提高算法效率我們對相似度還給出了一個好的估計S*(ci,cj)。進一步的我們還證明了S*(ci,cj)在項集間同樣具有反單調(diào)性，故完全可借鑒Apriori算法來發(fā)現(xiàn)滿足相似度門檻值s的多個擴展項集。這樣就保證了如果要在相似項集間進行模式匹配是能具有數(shù)學(xué)完備性的。把交易數(shù)據(jù)庫轉(zhuǎn)化為0-1矩陣形式，然后進行最小哈希變換和多次矩陣轉(zhuǎn)換來簡化和抽取具有相似特征的