多維分析與數(shù)據(jù)挖掘技術(shù)在商務(wù)智能中的研究與應(yīng)用.pdf

1、信息化的浪潮在世界各地，各行各業(yè)掀起，信息化的層次也在不斷演進(jìn)，從MRPII、ERP到CRM，從數(shù)據(jù)倉(cāng)庫(kù)(Data Warehouse)、到數(shù)據(jù)挖掘(Data Mining)，每一次變革都極大地推動(dòng)著企業(yè)信息化的升級(jí)和企業(yè)管理水平的提高。隨著信息技術(shù)的與時(shí)俱進(jìn)，企業(yè)信息化的熱點(diǎn)也隨之轉(zhuǎn)變，據(jù)賽迪顧問(wèn)在2005年中國(guó)數(shù)據(jù)管理技術(shù)應(yīng)用年會(huì)上發(fā)布的《2004-2005中國(guó)數(shù)據(jù)管理技術(shù)應(yīng)用軟件市場(chǎng)研究年度報(bào)告》報(bào)告顯示，商業(yè)智能作為整體數(shù)據(jù)管理

2、技術(shù)已經(jīng)在應(yīng)用軟件市場(chǎng)中成為發(fā)展最快的一個(gè)領(lǐng)域，其在中國(guó)市場(chǎng)銷售額的增長(zhǎng)率已超過(guò)40％，占到總體數(shù)據(jù)管理技術(shù)應(yīng)用軟件市場(chǎng)的44.36％。很明顯，又一個(gè)信息化熱點(diǎn)商業(yè)智能在我國(guó)已經(jīng)悄然興起。但是，據(jù)市場(chǎng)反映，在這一領(lǐng)域我們與國(guó)外仍有著不小的差距。本文正是基于這一歷史背景進(jìn)行立題研究。 本文圍繞商業(yè)智能這一課題，對(duì)多維分析技術(shù)、數(shù)據(jù)挖掘這兩大商業(yè)智能的核心支撐技術(shù)進(jìn)行了深入細(xì)致的研究與分析，并在對(duì)microsoft analysis

3、、pentaho、openi等已有商業(yè)智能產(chǎn)品和市場(chǎng)詳細(xì)調(diào)研的基礎(chǔ)上實(shí)現(xiàn)了一個(gè)智能多維分析平臺(tái)。本文所做的主要工作、技術(shù)難點(diǎn)與創(chuàng)新處如下： 1．大量查閱了商業(yè)智能的相關(guān)資料，追溯了商業(yè)智能興起的原因及其發(fā)展過(guò)程，認(rèn)真學(xué)習(xí)了商業(yè)智能的體系結(jié)構(gòu)、架構(gòu)過(guò)程及應(yīng)用實(shí)施的知識(shí)，深入領(lǐng)會(huì)了商業(yè)智能的概念及其核心支撐技術(shù)。 2．深入細(xì)致的學(xué)習(xí)了多維分析技術(shù)的概念、特點(diǎn)以及多維分析系統(tǒng)的體系結(jié)構(gòu)，并研究了數(shù)據(jù)的切片、切塊、下鉆、上卷以及

4、轉(zhuǎn)軸操作，并對(duì)開(kāi)源多維分析服務(wù)器Modrian的數(shù)據(jù)流程、體系結(jié)構(gòu)、多維數(shù)據(jù)庫(kù)的元數(shù)據(jù)格式以及將Modrian做為二次開(kāi)發(fā)的類庫(kù)進(jìn)行了詳細(xì)的分析與研究，而且也從應(yīng)用的角度對(duì)作為Modrian的前端展現(xiàn)開(kāi)源組件jpivot的類庫(kù)、常用標(biāo)簽組件做了深入的學(xué)習(xí)，并在此基礎(chǔ)上對(duì)Jpivot和及其所依賴的Wcf組件進(jìn)行了全部漢化工作。 3．認(rèn)真學(xué)習(xí)了數(shù)據(jù)挖掘的相關(guān)知識(shí)，分析了數(shù)據(jù)挖掘的算法以及如何進(jìn)行數(shù)據(jù)挖掘，并在此基礎(chǔ)上對(duì)開(kāi)源軟件Wek

5、a的數(shù)據(jù)輸入、分類、聚類、關(guān)聯(lián)、元學(xué)習(xí)方案以及屬性、實(shí)例過(guò)濾算法進(jìn)行了分析，并就如何利用Weka做二次開(kāi)發(fā)進(jìn)行了深入細(xì)致的研究。 4．在深入學(xué)習(xí)Struts開(kāi)發(fā)框架，分析模型一視圖一控制器(Model-View-Controller，MVC)設(shè)計(jì)模式，Struts的類庫(kù)結(jié)構(gòu)及Tag庫(kù)以及輸入驗(yàn)證及錯(cuò)誤處理機(jī)制的基礎(chǔ)上，充分利用Struts的優(yōu)點(diǎn)，揚(yáng)長(zhǎng)避短，不僅大大提高了生產(chǎn)效率，而且明晰了系統(tǒng)結(jié)構(gòu)，為系統(tǒng)進(jìn)一步擴(kuò)展提供了良好的前

6、提條件。 5．基于上述原理和已有的研究成果，設(shè)計(jì)并實(shí)現(xiàn)了智能多維分析平臺(tái)，該平臺(tái)具有的特點(diǎn)與創(chuàng)新如下： 1)本系統(tǒng)采用了B/S結(jié)構(gòu)，系統(tǒng)的所有用戶可以通過(guò)Internet遠(yuǎn)程使用本系統(tǒng)，不受時(shí)間和地點(diǎn)的限制，而且系統(tǒng)基于web的操作方式，對(duì)于有著龐大的互聯(lián)網(wǎng)用戶數(shù)量的中國(guó)市場(chǎng)來(lái)說(shuō)更加具有競(jìng)爭(zhēng)力。 2)與基于Mondrian和Jpivot開(kāi)發(fā)的開(kāi)源商業(yè)智能系統(tǒng)pentaho和openi相比，本系統(tǒng)的核心功能均提供了

7、向?qū)降牟僮鞣绞?，而且增加了?chuàng)建Mondrian多維數(shù)據(jù)集的功能，進(jìn)一步降低了對(duì)系統(tǒng)對(duì)用戶的要求。 3)基于開(kāi)源軟件構(gòu)建商業(yè)軟件，大大降低了開(kāi)發(fā)成本，為進(jìn)一步提升產(chǎn)品的競(jìng)爭(zhēng)力，提供了一種有效的商業(yè)軟件產(chǎn)品開(kāi)發(fā)模式。 4)完全基于xml的數(shù)據(jù)存儲(chǔ)，使得系統(tǒng)脫離了具體的數(shù)據(jù)庫(kù)平臺(tái)，提高了軟件的獨(dú)立性及軟件的訪問(wèn)速度，有效的降低了軟件的實(shí)施成本。 5)Xml、Xsd、Dtd、Xsl、Css以及Taglib技術(shù)的引入，不

8、僅增強(qiáng)了系統(tǒng)的個(gè)性化，而且一定程度上降低了界面顯示與控制邏輯的耦合性，為美工和程序員并行開(kāi)發(fā)系統(tǒng)奠定了基礎(chǔ)。 6)可定制的系統(tǒng)界面以及屬性文件的應(yīng)用，從一定程度上滿足了用戶的個(gè)性化需求，而且對(duì)軟件的國(guó)際化有著良好的支持，使得系統(tǒng)在不修改代碼的情況下就可提供多語(yǔ)言版本。 7)Weka持續(xù)快速的發(fā)展以及對(duì)分布式處理的支持，使得系統(tǒng)在數(shù)據(jù)挖掘應(yīng)用擴(kuò)展及挖掘性能方面有著良好的支持。 目前，本系統(tǒng)已經(jīng)在北京市商業(yè)銀行、西門(mén)