大數(shù)據(jù)的應(yīng)用研究綜述

1、商丘師范學(xué)院2014屆本科畢業(yè)論文(設(shè)計(jì))1大數(shù)據(jù)的應(yīng)用研究綜述引言當(dāng)云計(jì)算、物聯(lián)網(wǎng)對(duì)人們還是一個(gè)新的概念的時(shí)候，大數(shù)據(jù)出現(xiàn)了。大數(shù)據(jù)是云計(jì)算，事IT行業(yè)的顛覆性的革命的互聯(lián)網(wǎng)，企業(yè)的發(fā)展，政府治理模式，將產(chǎn)生巨大的影響和個(gè)人習(xí)慣。大數(shù)據(jù)的挖掘和應(yīng)用可創(chuàng)造出超出人們難以想象的價(jià)值，將是未來(lái)IT領(lǐng)域最大的市場(chǎng)利用之一可以稱的上又一次工業(yè)革命。本文對(duì)大數(shù)據(jù)的概念和它的應(yīng)用、研究領(lǐng)域作了簡(jiǎn)單的介紹，還有它的現(xiàn)狀和所面臨的問(wèn)題也作了簡(jiǎn)述。1、大

2、數(shù)據(jù)的基本概念麥肯錫將大數(shù)據(jù)定義為：沒法在一定時(shí)間內(nèi)用傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具對(duì)其內(nèi)容進(jìn)行提取、管理和處理的數(shù)據(jù)集合。大數(shù)據(jù)是不是新的技術(shù)，也沒有新產(chǎn)品，但一個(gè)新的現(xiàn)象，是近年來(lái)研究的熱點(diǎn)。大數(shù)據(jù)具有以下4個(gè)特點(diǎn)即4個(gè)“V”：(1)數(shù)據(jù)量(Volumes)巨大。大型數(shù)據(jù)集，已從TB級(jí)別，躍升到PB級(jí)別。(2)數(shù)據(jù)類目(Variety)繁多。種數(shù)據(jù)源來(lái)源很多，數(shù)據(jù)種類和格式?jīng)_破了以往任何時(shí)候所限定的結(jié)構(gòu)化數(shù)據(jù)范圍，網(wǎng)羅了半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。

3、(3)價(jià)值(Value)密度低。在視頻為例，連續(xù)監(jiān)測(cè)屏幕，只有一個(gè)或兩秒鐘可能有用的資料(4)處理數(shù)據(jù)的速度(Velocity)快。包含大量在線或?qū)崟r(shí)數(shù)據(jù)分析處理的需求，1秒定律。2、大數(shù)據(jù)產(chǎn)生的源泉大數(shù)據(jù)主要來(lái)源于網(wǎng)絡(luò)世界與物理世界。1）網(wǎng)絡(luò)世界。大數(shù)據(jù)來(lái)自于人類社會(huì)，尤其是以互聯(lián)網(wǎng)的發(fā)展作為數(shù)據(jù)的存儲(chǔ)、傳輸與應(yīng)用創(chuàng)造了環(huán)境。在社交網(wǎng)絡(luò)服務(wù)的現(xiàn)象學(xué)的六個(gè)假設(shè)基于用戶的基礎(chǔ)上，根據(jù)朋友的朋友認(rèn)識(shí)，擴(kuò)大接觸，廣結(jié)人緣。基于社會(huì)網(wǎng)絡(luò)的w2.

4、0網(wǎng)站，對(duì)用戶信息的用戶，也是網(wǎng)站信息生產(chǎn)者。2）物理世界?？茖W(xué)實(shí)驗(yàn)是科學(xué)和技術(shù)人員設(shè)計(jì)，數(shù)據(jù)采集，數(shù)據(jù)處理需要的設(shè)計(jì)數(shù)據(jù)，無(wú)論是檢索和模式識(shí)別科學(xué)規(guī)律可以發(fā)現(xiàn)。例如，希格斯粒子（也被稱為上帝粒子）的搜索，利用大型強(qiáng)子對(duì)撞機(jī)實(shí)驗(yàn)中，應(yīng)至少有1000000000000例可確定一個(gè)希格斯粒子。這是一個(gè)典型的根據(jù)大數(shù)據(jù)而做的科學(xué)實(shí)驗(yàn)。從這一實(shí)驗(yàn)可以看出，科學(xué)實(shí)驗(yàn)的大數(shù)據(jù)處理是整個(gè)實(shí)驗(yàn)最核心的部分，可以預(yù)先估計(jì)出想要的結(jié)果。3、大數(shù)據(jù)的現(xiàn)狀及發(fā)

5、展趨勢(shì)3.1大數(shù)據(jù)的現(xiàn)狀從技術(shù)上看，大數(shù)據(jù)與云計(jì)算的關(guān)系是無(wú)法分開的，大數(shù)據(jù)必然沒有辦法用一臺(tái)的計(jì)算機(jī)進(jìn)行處理，必須采用分布式計(jì)算架構(gòu)。商丘師范學(xué)院2014屆本科畢業(yè)論文(設(shè)計(jì))3現(xiàn)有的大數(shù)據(jù)不夠大對(duì)于將來(lái)來(lái)說(shuō)。在未來(lái)的高數(shù)據(jù)將得到更多的關(guān)注，研究，和數(shù)據(jù)的應(yīng)用程序的開發(fā)，未來(lái)將會(huì)有越來(lái)越多的，和挖掘和提取有價(jià)值的信息，也增加了困難。4、大數(shù)據(jù)帶來(lái)的機(jī)遇和挑戰(zhàn)大的數(shù)據(jù)將被破壞的數(shù)據(jù)倉(cāng)庫(kù)的傳統(tǒng)的信息系統(tǒng)體系結(jié)構(gòu)為流程，連接和信息共享的數(shù)據(jù)

6、池。大數(shù)據(jù)技術(shù)使人們可以使用多種類型的數(shù)據(jù)，不能有效利用，在那些不注意抓住機(jī)遇，使組織更加高效和智能化。大數(shù)據(jù)技術(shù)也將推動(dòng)新興信息安全技術(shù)與產(chǎn)品的形成。4.1大數(shù)據(jù)帶來(lái)的機(jī)遇1)大數(shù)據(jù)的挖掘和應(yīng)用成為核心，將從各個(gè)方面創(chuàng)造價(jià)值。企業(yè)商業(yè)模式的深刻影響是對(duì)數(shù)據(jù)中心過(guò)渡開采和應(yīng)用的數(shù)據(jù)存儲(chǔ)和傳輸。從海量數(shù)據(jù)中提取有用的信息是挖掘大量數(shù)據(jù)，并應(yīng)用到各個(gè)行業(yè)的大量數(shù)據(jù)中最重要的部分。2)大數(shù)據(jù)的安全越來(lái)越被重視，為信息安全的發(fā)展帶來(lái)機(jī)會(huì)。移動(dòng)互

7、聯(lián)網(wǎng)，物聯(lián)網(wǎng)和其他新興IT技術(shù)，網(wǎng)絡(luò)已逐漸成為社會(huì)的主流，數(shù)據(jù)的價(jià)值，因?yàn)榇髷?shù)據(jù)的增加，所以普遍存在的數(shù)據(jù)信息安全提出了更高的要求。信息安全和云計(jì)算運(yùn)行通過(guò)產(chǎn)業(yè)鏈的各方面數(shù)據(jù)，云安全關(guān)鍵技術(shù)將更加安全的數(shù)據(jù)保護(hù)。大數(shù)據(jù)對(duì)信息安全的要求促進(jìn)將推動(dòng)信息安全產(chǎn)業(yè)的大發(fā)展。3）提供了更大的空間，對(duì)于大數(shù)據(jù)時(shí)代發(fā)展為商業(yè)智能，信息安全和云計(jì)算。大數(shù)據(jù)產(chǎn)業(yè)鏈分為硬件、基礎(chǔ)軟件和應(yīng)用軟件三大領(lǐng)域是按產(chǎn)品形態(tài)劃分的，橫跨三大領(lǐng)域的是商業(yè)智能、信息安全和

8、云計(jì)算，這三駕馬車會(huì)在產(chǎn)業(yè)鏈中快速發(fā)展。4.2大數(shù)據(jù)帶來(lái)的挑戰(zhàn)大數(shù)據(jù)在帶來(lái)機(jī)遇的同時(shí)，也給人才、技術(shù)、信息安全等方面帶來(lái)了很大的挑戰(zhàn)。1)大數(shù)據(jù)的處理對(duì)專業(yè)化的技術(shù)和管理人才要求很高。并對(duì)復(fù)雜數(shù)據(jù)的大型數(shù)據(jù)集的工具和技術(shù)，包括統(tǒng)計(jì)，機(jī)器學(xué)習(xí)專業(yè)的分析需要的應(yīng)用程序設(shè)計(jì)，自然語(yǔ)言處理，建模和可視化技術(shù)，例如，標(biāo)簽云，集群，歷史，視頻信息流圖等。2)大數(shù)據(jù)的有效應(yīng)用是解決大容量、多種類和高效率數(shù)據(jù)處理的問(wèn)題為基礎(chǔ)的。傳統(tǒng)數(shù)據(jù)庫(kù)的管理能力已經(jīng)

9、無(wú)法再應(yīng)付海量的數(shù)據(jù)，而且處理不了數(shù)TB級(jí)別的數(shù)據(jù)，也不能很好支持高級(jí)別的數(shù)據(jù)分析，大數(shù)據(jù)中因?yàn)橛胁煌袷降臄?shù)據(jù)所以需要復(fù)雜的處理方法。大數(shù)據(jù)的數(shù)據(jù)格式囊括半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，非結(jié)構(gòu)化數(shù)據(jù)的多樣性和海量性決定了大數(shù)據(jù)技術(shù)的復(fù)雜性，限制和處理這些數(shù)據(jù)超出常規(guī)的數(shù)據(jù)的軟件工具，可以承受的。此外，高時(shí)效性的大型數(shù)據(jù)處理是必要的。由于社會(huì)和經(jīng)濟(jì)狀況，在日新月異的今天立于不敗之地，必須把握數(shù)據(jù)的及時(shí)性。5、大數(shù)據(jù)的關(guān)鍵技術(shù)毋庸置疑，世界上所有

10、研究大數(shù)據(jù)技術(shù)的人都意識(shí)到大數(shù)據(jù)對(duì)于未來(lái)發(fā)展的重要價(jià)值?？墒乾F(xiàn)實(shí)生活中出現(xiàn)許多的問(wèn)題阻礙了大數(shù)據(jù)技術(shù)的發(fā)展和實(shí)際應(yīng)用。大數(shù)據(jù)的關(guān)鍵技術(shù)包括流處理、并行性、摘要索引和可視化。1）流處理隨著業(yè)務(wù)發(fā)展的需要，以及復(fù)雜的業(yè)務(wù)流程，我們?cè)絹?lái)越重視“數(shù)據(jù)流”而不是“數(shù)據(jù)集”。決策者最喜歡的是和自己的組織機(jī)構(gòu)的相關(guān)的東西，并馬上得到結(jié)果。他們希望能夠處理任何數(shù)據(jù)流結(jié)構(gòu)立即，但當(dāng)前的數(shù)據(jù)庫(kù)技術(shù)無(wú)法滿足這些決策者。若是你正在與一家供應(yīng)商洽商一個(gè)大數(shù)據(jù)項(xiàng)目