帶安全約束的批處理MapReduce任務調(diào)度方法.pdf

1、任務調(diào)度是影響面向大數(shù)據(jù)應用分布式計算的MapReduce框架性能的重要因素，成為近年來的MapReduce調(diào)度研究熱點。相互獨立的周期性執(zhí)行批處理任務是MapReduce環(huán)境下的重要任務處理類型。在涉及公安數(shù)據(jù)或金融數(shù)據(jù)的大數(shù)據(jù)處理時，安全性要求成為不可忽視的重要約束。本文研究MapReduce環(huán)境下帶安全約束的批處理任務調(diào)度方法，具有重要的理論意義和應用前景。
　　本文考慮帶安全約束的批處理MapReduce任務調(diào)度問題，考慮

2、Map和Reduce階段安全性和數(shù)據(jù)本地化約束，以最小化最大完工時間為優(yōu)化目標，兼顧作業(yè)公平性和集群負載均衡。建立帶安全約束的Map、Reduce兩階段任務調(diào)度數(shù)學模型;基于此模型提出帶安全約束的批處理MapReduce任務調(diào)度方法，該方法由三部分組成:Map任務調(diào)度、Reduce任務調(diào)度、調(diào)度序列調(diào)整。在Map任務調(diào)度階段提出兩種帶安全約束以及負載均衡控制的Map任務調(diào)度算子，得到Map任務調(diào)度序列;在Reduce任務調(diào)度階段提出兩種

3、帶安全約束的數(shù)據(jù)本地化感知的Reduce任務調(diào)度算子，得到Map和Reduce任務調(diào)度的序列;為了優(yōu)化調(diào)度序列以達到進一步縮短作業(yè)最大完工時間的目的，設計基于插入和交換的四種鄰域結(jié)構，將Map和Reduce調(diào)度算子得到的調(diào)度序列作為初始序列，進一步提出基于不同鄰域結(jié)構的局部搜索調(diào)度序列調(diào)整方法。
　　為驗證所提出算法的效率和有效性，采用方差分析技術對算法的相關參數(shù)和組件進行測試和分析，得到最適合求解該問題的相關參數(shù)值和組件;將提出