分布式業(yè)務集成部署平臺的設計與實現.pdf

1、近年來，隨著應用的多樣化發(fā)展和大數據時代的來臨，學術界和工業(yè)界設計并實現了多種分布式業(yè)務系統作為編程框架來應對日益增多的數據類型和應用需求多樣性挑戰(zhàn)，例如適用于離線批處理場景的框架MapReduce、適用于流式計算場景的框架Storm、適用于內存迭代計算場景的框架Spark、適用于DAG計算場景的框架Tez、適用于圖計算場景的框架Pregel等。在未來的發(fā)展中，新的計算框架有很大概率會持續(xù)性出現。無論是現有框架還是未來的框架，都將專注于

2、特定應用場景，不會出現某個計算框架能適用于全部的應用場景，成為它們共同的最佳選擇。在生產環(huán)境中，分布式業(yè)務系統經常也離不開某些通用服務，例如Web服務器、數據庫服務器等。為每個分布式業(yè)務系統提供專門的基礎設施，單獨設計部署存在擴展性差、利用率偏低等問題。
　　針對以上這些問題，本文結合國內外現有的研究情況，分析當前部署支撐平臺的架構和特點，設計并實現了分布式業(yè)務系統集成部署平臺（Distributed business syste

3、m Deploy Platform，DDP），提供自動化部署分布式業(yè)務系統并高伸縮定制化運營的基礎支撐服務。主要工作與創(chuàng)新點如下：
　　1．實現集群復用，在一個集群整體上運行各種計算框架等分布式業(yè)務系統，并根據異構性的業(yè)務資源請求，自適應最優(yōu)匹配的承載節(jié)點。基于業(yè)務負載動態(tài)擴容和收縮。按需索取計算資源，當業(yè)務負載超過閾值高位值時，進行動態(tài)擴容，為業(yè)務模塊的分配更多的資源，當業(yè)務負載小于低位值時，進行收縮，回收空閑資源。實時監(jiān)控業(yè)務