XXX商学院博士学位论文答辩 1 - 软件与数据工程研究中心

1 .云计算环境中数据放置及复制策略 研究 指导教师：王新军 教授 答辩人：郭 伟 研究方向：计算机软件与理论 

2 . 报告内容 1 研究背景 2 问题与挑战 3 国内外研究现状分析 4 主要工作 5 总结与展望 XXX 商学院博士学位论文答辩 

3 . 一、研究背景 云计算平台 数据节点众多，数据量庞大 跨数据节点的数据访问成本大 数据的热度不一 数据的热度变化较大 3 XXX 商学院博士学位论文答辩 

4 . 二、问题与挑战 1 如何制定初始的数据放置策略 2 如何根据数据热度确定数据副本的数量 3 如何根据数据热度的变化调整数据放置策略 4 如何对事务请求进行快速的数据副本定位 4 XXX 商学院博士学位论文答辩 

5 . 三、国内外研究现状分析 1 、云中数据放置策略 大部分研究考虑了 SLA 、节点负载等因素，但未综合考虑分布式代价成本。 Cohadoop 等将相关数据放在一起，但未给出详细实现细节。 2 、云中数据副本的数量 GFS 、 HDFS 等的数据副本数量是固定的，不够灵活。 3 、云中数据动态迁移机制 大部分是不迁移或者被动迁移，缺乏主动复制。 4 、事务请求的数据副本定位机 制 等采用全局索引、局部索引结 Hbase 合的方式快速定位数据，缺乏对访问数 据的具体副本的定位。 XXX 商学院博士学位论文答辩 

6 . 四、论文主要工作 云数据初始放置 1 云数据副本动态 3 策略研究 迁移机制研究 云数据 管理模型 事务请求的数据 云数据副本数量 2 4 副本定位机制 机制研究 研究 XXX 商学院博士学位论文答辩 

7 . 1 、云数据初始放置策略研究 策略目标  满足数据节点容量的限制  最小化数据间的总的协作成本  考虑全局负载均衡问题 实现思路  使用遗传算法 XXX 商学院博士学位论文答辩 

8 . 1 、云数据初始放置策略研究 数据切片可以是数据 图 库中的关系、数据库 1 中的关系的一部分或 任意文件。 图 2 XXX 商学院博士学位论文答辩 

9 . 1 、云数据初始放置策略研究 放置方案的协作成本 m *  Cij  n * LBgene CoCost(S)= mn XXX 商学院博士学位论文答辩 

10 . 1 、云数据初始放置策略研究 遗传算法  使用遗传算法来实现将数据放置到数据节点上的策略。  每条染色体代表一种数据放置方案。  算法首先产生初始种群。  利用选择、交叉、变异等遗传算子对种群中的染色体不断进行进化。  最后得到全局最优解。 XXX 商学院博士学位论文答辩 

11 . 1 、云数据初始放置策略研究 数据放置方案解的有效性判断条件  染色体中存在至少一个基因片段不能代表数据节点  超出了某个数据节点的存储容量  存在某个固定位置的数据存放位置与其指定位置不同 XXX 商学院博士学位论文答辩 

12 . 1 、云数据初始放置策略研究 本文的遗传算法策略，相比贪心算法策略，能够 较好地进行全局负载均衡，能够节约 10 ％左右 的分布式协作成本代价。 XXX 商学院博士学位论文答辩 

13 . 2 、云数据副本数量机制研究 研究目标  根据工作负载分析数据的热度  为不同热度的数据设置不同的副本数量 实现思路  使用超图对工作负载进行建模  通过超图的压缩来减轻超图维护成本  根据数据的读写类型设置数据副本的数量 XXX 商学院博士学位论文答辩 

14 . 2 、云数据副本数量机制研究  使用超图来表示工作负载 G  (V , E )  顶点表示元组  超边表示事务  超边的权重表示事务的频率 XXX 商学院博士学位论文答辩 

15 . 2 、云数据副本数量机制研究  超图的压缩：使用散列分区的方法对超图进行压缩 （压缩 （压缩 前） 后） XXX 商学院博士学位论文答辩 

16 . 2 、云数据副本数量机制研究  将云中数据按照读写的占比分为三种类型：  主写类，读一次、写多次。  主读类，写一次、读多次。  读写平衡类，读写占比相当。 XXX 商学院博士学位论文答辩 

17 . 2 、云数据副本数量机制研究  超图中顶点对应的数据的副本数量的确定：  1 、使用统计模块计算每一个数据项的读次数、写次数 、读写类型比  2 、根据每一个数据项的读次数、写次数、读写类型比 计算该数据项的副本数量主写类，读一次、写多次  3 、在原超图中增加相应数量的数据副本  4 、对超图进行再次分割，得到最小割 XXX 商学院博士学位论文答辩 

18 . 2 、云数据副本数量机制研究 XXX 商学院博士学位论文答辩 

19 . 3 、云数据副本动态迁移机制研究 研究目标  数据副本位置的调整  数据副本数量的调整 实现思路  使用增量数据重新分区技术对数据副本的位置进行调整  使用割边数据主动复制策略对数据副本的数量进行调整 XXX 商学院博士学位论文答辩 

20 . 3 、云数据副本动态迁移机制研究  增量数据重新分区技术：  候选节点集合：割边覆盖的顶点的集合 XXX 商学院博士学位论文答辩 

21 . 3 、云数据副本动态迁移机制研究  增量数据重新分区技术：  每一个超边相对于分布式事务总数量的贡献度 ndt E CE   i 1,...,t ndtEi XXX 商学院博士学位论文答辩 

22 . 3 、云数据副本动态迁移机制研究  增量数据重新分区技术：  顶点的交换收益 SG  ndte  (  nhib  ndte )  2 ndte   nhib iSb iSb 根据交换收益情况，判断顶点是否需要迁移 。 XXX 商学院博士学位论文答辩 

23 . 3 、云数据副本动态迁移机制研究  割边数据主动复制： 1 、按照割边数量的大小对顶点进行排序 2 、对于满足一定阈值的割边数据进行主动复制 XXX 商学院博士学位论文答辩 

24 . 3 、云数据副本动态迁移机制研究 XXX 商学院博士学位论文答辩 

25 . 4 、事务请求的数据副本定位机制研 究 研究目标  将事务请求快速定位到合适的数据副本上 实现思路  使用类似最小集合覆盖算法的方法 XXX 商学院博士学位论文答辩 

26 . 4 、事务请求的数据副本定位机制研 究 XXX 商学院博士学位论文答辩 

27 . 4 、事务请求的数据副本定位机制研 究 t  { A, B, C , D, E , F } P1  { A, D} P2  { A, B c , C c , F } Ct  {2,1,1, 2,1,1} P3  {C c , D c , E} P4  {E c , F c } 第一次迭代 S  {P2 } Ce '  {1, 0, 0, 2,1, 0} 第二次迭代 S  {P2 , P3} Ce '  {1, 0, 0,1, 0, 0} 第三次迭代 S  {P2 , P3 , P1} Ce '  {0, 0, 0, 0, 0, 0} XXX 商学院博士学位论文答辩 

28 . 4 、事务请求的数据副本定位机制研 究 XXX 商学院博士学位论文答辩 

29 . 总结与展望 总结 • 云数据初始放置策略研究 • 云数据副本数量机制研究 • 云数据副本动态迁移机制研究 • 事务请求的数据副本定位机制研究 展望 • 研究云计算环境中的多节点事务管理机制 • 研究根据机器性能调整数据放置方案的机制 29XXX 商学院博士学位论文答辩