电子学报 ›› 2014, Vol. 42 ›› Issue (1): 20-27.DOI: 10.3969/j.issn.0372-2112.2014.01.004

• 学术论文 • 上一篇    下一篇

云计算环境下基于用户体验的成本最优存储策略研究

王宁1,2, 杨扬1, 孟坤3, 陈宇1, 王磊1, 季青1   

  1. 1. 北京科技大学计算机与通信工程学院, 北京 100083;
    2. 烟台工程职业技术学院机电工程系, 山东烟台 264006;
    3. 清华大学计算机科学与技术系, 北京 100084
  • 收稿日期:2013-01-23 修回日期:2013-05-02 出版日期:2014-01-25
    • 作者简介:
    • 王 宁 女,1978年出生于山东烟台.现为北京科技大学博士生,同时也是烟台工程职业技术学院讲师,主要从事云计算、数据挖掘等方面的研究. E-mail:wangning200658@126.com 杨 扬 男,1955年出生于河北承德.教授、博士生导师.主要研究领域为云计算、智能控制、多媒体通信等. E-mail:yyang@ustb.edu.cn 孟 坤 男,1980年生于河南项城.博士,现为清华大学博士后,主要研究领域为网络安全、性能评价等. 陈 宇 男,1989年生于北京.现为北京科技大学硕士生,主要研究领域为云计算. 王 磊 女,1982年生于河北张家口.现为北京科技大学博士生,主演研究领域为移动自组织网络和服务组合. 季 青 女,1978年生于江苏淮安,现为北京科技大学博士生,主要研究领域为云计算.
    • 基金资助:
    • 国家自然科学基金 (No.61070182,No.61170209,No.61272528,No.61202432)

A Customer Experience-Based Cost Minimization Strategy of Storing Data in Cloud Computing

WANG Ning1,2, YANG Yang1, MENG Kun3, CHEN Yu1, WANG Lei1, JI Qing1   

  1. 1. School of Computer and Communication Engineering, University of Science and Technology Beijing, Beijing 100083, China;
    2. Department of Mechanical and Electrical Engineering, Yantai Engineering & Technology College, Yantai, Shandong 264006, China;
    3. Department of Computer Science and Technology, Tsinghua University, Beijing 100084, China
  • Received:2013-01-23 Revised:2013-05-02 Online:2014-01-25 Published:2014-01-25

摘要: 为了提高大数据文件的存取效率,满足各类用户的需求,通常采用对该文件进行分块、冗余副本等机制进行存储,关于设置块大小、副本个数和块部署等存储机制的研究一直是该领域研究重点.根据用户对内容块兴趣需求,我们定义了数据块的热度并提出了一种满足用户需求的存储数据块的最小服务成本策略(MCSB).在成本矩阵的基础上,通过引入与数据块热度相关的成本矩阵调整因子,使得热度较低的数据块被优先部署,实现了在不改变存储数据块的最小服务总成本的情况下,内容存取服务性能的提高.基于该策略,以Hadoop中的缺省数据块存储策略为控制组,通过在HDFS系统中实现MCSB,并对MCSB进行了较为详细的分析.实验结果显示MCSB策略能够在满足最小服务成本的情况下,具有更短的系统平均响应时间.进一步考虑到数据存储节点由服务器集群承担的事实,对基于不同负载下的数据存储策略进行了深入探讨,在分析现有机制对性能影响的基础上,给出了一种自适应的数据节点内的存储数据块的最小服务成本策略AMCSB,实验表明,本文所提出的AMCSB策略能够在降低服务成本的同时,有利于系统的负载均衡,并提高该系统的服务性能.

关键词: 云存储, 数据块, MCSB, AMCSB, 大数据

Abstract: Splitting a whole large file into some small blocks and distributedly deploying these block replications on severs can improve their application efficiency and meet users' demands.How to split a file,how many replications of a block should be created,and how to deploy these replications become the most critical issures in this field.In this paper,considering client's demands for each block,we introduce block-popularity and present a block deployment strategy according to it,called minimum cost of storing blocks (MCSB),which can satisfy users' requirement and minimum storage cost.In our strategy,through introducing cost adjustment factors of blocks,not only that lower hot blocks are assured to deploy earlier,but also the practical total storage cost are not exceed than the original case.To maintain the performance of service system,we study resource management methods in-depth among severs with different workloads and propose an adaptive MCSB strategy (AMCSB).We implement the MCSB (and AMCSB) in Hadoop and compare their performance with other related strategies.The experiment results show that MCSB fulfills minimum service cost and shortens average response time,and AMCSB realizes load balance among target servers.

Key words: cloud storage, data block, MCSB, AMCSB, big data

中图分类号: