基于大規(guī)模并行處理的R語(yǔ)言運(yùn)行時(shí)技術(shù)研究.pdf

1、大數(shù)據(jù)背景下，行業(yè)應(yīng)用數(shù)據(jù)呈爆炸性增長(zhǎng)，統(tǒng)計(jì)分析的數(shù)據(jù)規(guī)模和處理復(fù)雜度不斷增加，傳統(tǒng)意義上的計(jì)算技術(shù)和信息系統(tǒng)的處理能力遠(yuǎn)遠(yuǎn)不能滿足用戶要求。隨著高性能計(jì)算平臺(tái)的不斷發(fā)展，其在統(tǒng)計(jì)分析領(lǐng)域的應(yīng)用開(kāi)始廣泛受到相關(guān)領(lǐng)域研究人員的關(guān)注，眾多結(jié)合大數(shù)據(jù)平臺(tái)的統(tǒng)計(jì)分析方法、從編譯層面對(duì)編程語(yǔ)言進(jìn)行優(yōu)化的方法逐漸成為熱門(mén)項(xiàng)目。
　　作為深受統(tǒng)計(jì)學(xué)家追捧的編程工具 R語(yǔ)言，和所有的解釋型語(yǔ)言一樣，存在著嚴(yán)重的性能弊端，需要利用并行方法提高代碼執(zhí)

2、行性能。然而并行化程序設(shè)計(jì)的過(guò)程遠(yuǎn)比傳統(tǒng)的串行化算法復(fù)雜的多，不僅需要數(shù)據(jù)分析程序員進(jìn)行功能性的代碼實(shí)現(xiàn)，還需要掌握很多分布式系統(tǒng)背景知識(shí)和并行程序設(shè)計(jì)技巧。上層數(shù)據(jù)分析和算法設(shè)計(jì)工作與底層復(fù)雜的并行化和分布式編程調(diào)試存在一個(gè)難以逾越的鴻溝，急需一種能夠縮短普通程序員和常規(guī)程序設(shè)計(jì)方法距離的架構(gòu)。
　　首先，文章分析了R語(yǔ)言的特性。由于R語(yǔ)言是一門(mén)新興的解釋型統(tǒng)計(jì)學(xué)語(yǔ)言，沒(méi)有系統(tǒng)的同類文獻(xiàn)可供參考，因此本文先從源代碼層面對(duì) R語(yǔ)言

3、目前的實(shí)現(xiàn)方式進(jìn)行了剖析，并著重從 R語(yǔ)言的類型系統(tǒng)、向量化特性、函數(shù)式語(yǔ)言特性及與 C語(yǔ)言結(jié)合等方面進(jìn)行了系統(tǒng)性整理。然后對(duì)其運(yùn)行時(shí)特性進(jìn)行探討，對(duì)比解釋型語(yǔ)言和編譯型語(yǔ)言在運(yùn)行時(shí)的顯著區(qū)別，并以目前的GNU R作為研究對(duì)象，構(gòu)建了其運(yùn)行時(shí)的執(zhí)行框架，明確運(yùn)行時(shí)階段要處理的事務(wù)，如內(nèi)存分配、數(shù)據(jù)通信等，為接下來(lái)的分布式并行系統(tǒng)運(yùn)行時(shí)設(shè)計(jì)及優(yōu)化奠定理論基礎(chǔ)。
　　其次，本文提出了基于R語(yǔ)言的分布式并行編程系統(tǒng)Rdp的設(shè)計(jì)思路。以提

4、供一系列的支持 R語(yǔ)言中常規(guī)向量化操作的并行編程接口作為系統(tǒng)的編程模型，采用消息傳遞接口（MPI）編程規(guī)范作為并行系統(tǒng)架構(gòu)的主要實(shí)現(xiàn)方式，自頂向下分并行應(yīng)用、并行接口、運(yùn)行時(shí)環(huán)境（RTE）、操作系統(tǒng)及底層硬件幾部分設(shè)計(jì)了基于R語(yǔ)言的并行運(yùn)行時(shí)架構(gòu)，并以RTE中的任務(wù)調(diào)度和資源分配任務(wù)為對(duì)象，對(duì)系統(tǒng)功能及API功能進(jìn)行了設(shè)計(jì)。
　　接下來(lái)，文章對(duì)系統(tǒng)的設(shè)計(jì)思路分層進(jìn)行了實(shí)現(xiàn)與優(yōu)化。按照底層系統(tǒng)環(huán)境交互、中間層調(diào)度工作節(jié)點(diǎn)及高層提供簡(jiǎn)

5、易應(yīng)用編程接口這三層抽象出并行編程的API，并使用R中的C語(yǔ)言接口以高效的編程語(yǔ)言實(shí)現(xiàn)MPI的任務(wù)調(diào)度和分配。不同層次編程接口功能的劃分，有利于用戶或者開(kāi)發(fā)人員根據(jù)使用需求自由選擇編程粒度實(shí)現(xiàn)并行，同時(shí)以R語(yǔ)言中使用最為廣泛的泛函apply函數(shù)家族作為主要優(yōu)化對(duì)象，能夠在盡量不改變用戶編程習(xí)慣的前提下提供一套可以在高性能計(jì)算平臺(tái)上的通用接口。
　　最后是文章的實(shí)驗(yàn)測(cè)試部分。首先，將Rdp中主要函數(shù)接口的性能與snow包和paral