流水行云:支持可扩展的并行分布式流处理系统

doi:10.3969/j.issn.0372-2112.2015.04.003

电子学报 ›› 2015, Vol. 43 ›› Issue (4): 639-646.DOI: 10.3969/j.issn.0372-2112.2015.04.003

流水行云:支持可扩展的并行分布式流处理系统

张鹏^1,2, 刘庆云^1,2, 谭建龙^1,2, 李焱³, 杜华明²

1. 中国科学院信息工程研究所, 北京 100093;
2. 信息内容安全技术国家工程实验室, 北京 100093;
3. 国家计算机网络应急技术处理协调中心, 北京 100029

收稿日期:2013-09-30 修回日期:2014-03-30 出版日期:2015-04-25
- 作者简介:
- 张鹏男,1984年出生,安徽淮南人.2013年在中国科学院计算技术研究所获工学博士学位.现为中国科学院信息工程研究所博士后,主要从事数据流处理及云计算方面的研究.E-mail:pengzhang@iie.ac.cn
- 基金资助:
- 国家863高技术研究发展计划 (No.2011AA010703); 中国科学院战略性先导专项 (No.XDA06030602); 国家自然科学基金 (No.61402464); 中国博士后基金 (No.2013M541076)

SPSPS:A Scalable Parallel-Distributed Stream Processing System

ZHANG Peng^1,2, LIU Qing-yun^1,2, TAN Jian-long^1,2, LI Yan³, DU Hua-ming²

1. Institute of Information Engineering, Chinese Academy of Sciences, Beijing 100093, China;
2. National Engineering Laboratory for Information Security Technologies, Beijing 100093, China;
3. National Computer Network Emergency Response and Coordination Center, Beijing 100029, China

Received:2013-09-30 Revised:2014-03-30 Online:2015-04-25 Published:2015-04-25
- Supported by:
- National High-tech R&D Program of China (863 Program) (No.2011AA010703); Strategic Pilot Project of Chinese Academy of Sciences (No.XDA06030602); National Natural Science Foundation of China (No.61402464); Post-doctoral Foundation of China (No.2013M541076)

摘要/Abstract

摘要：

数据流处理系统,无论是集中式还是分布式,都需要克服单点瓶颈问题.不仅如此,如果数据流处理系统是静态配置的,那么还会出现处理节点供给不足或者过剩的情况,为此本文提出了一种支持可扩展的并行分布式数据流处理系统—流水行云,该系统根据有状态算子将查询拓扑划分为并行处理的子查询,并且通过有状态算子的分发器和收集器实现了数据流的保序,同时最大化减少并行处理的通信开销,不仅如此,结合负载均衡和重配置的可扩展技术使得该系统能够根据输入负载动态调整处理节点的负载和个数.60个节点组成的集群的实验证明了该系统的可扩展能力.

关键词: 流处理系统, 可扩展, 有状态算子, 负载均衡, 重配置

Abstract:

The stream processing systems,whether centralized or distributed,have to overcome the single-node bottleneck.Moreover,their static configurations also make them either shortage or surplus of resources.To this end,this paper proposes a scalable parallel-distributed stream processing system named SPSPS.The system splits a query into parallel sub-queries according to stateful query operators to minimize the communication overhead in parallel processing,and achieves order-preserving tuple processing through the stateful operator's distributor and collector.Moreover,the scalability techniques with load balancing and reconfiguration support effective adjustment of resources depending on the incoming load.The experiments on a cluster with 60 nodes prove the scalability.

Key words: stream processing system, scalability, stateful operator, load balancing, reconfiguration

中图分类号:

TN911.23

张鹏, 刘庆云, 谭建龙, 等. 流水行云:支持可扩展的并行分布式流处理系统[J]. 电子学报, 2015, 43(4): 639-646.

ZHANG Peng, LIU Qing-yun, TAN Jian-long, et al. SPSPS:A Scalable Parallel-Distributed Stream Processing System[J]. Acta Electronica Sinica, 2015, 43(4): 639-646.

参考文献

[1] 孟小峰,慈祥.大数据管理:概念,技术与挑战[J].计算机研究与发展,2013,50(1):146-169. Meng Xiao-feng,Ci Xiang.Big data management:concepts,techniques and challenges[J].Journal of Computer Research and Development,2013,50(1):146-169.(in Chinese)
[2] R Kumar.Two Computational Paradigm for Big Data[OL].http://kdd2012.sigkdd.org/sites/images/summerschool/Ravi.Kumar.pdf,KDD summer school,2012.
[3] 孙圣力,戴东波,黄震华,张齐勋,周立新.概率数据流上Skyline查询处理算法[J].电子学报,2009,37(2):285-293. Sun Sheng-li,Dai Dong-bo,Huang Zhen-hua,Zhang Qi-xun,Zhou Li-xin.Algorithmon computing skyline over data stream[J].Acta Electronica Sinica,2009,37(2):285-293.(in Chinese)
[4] 钱江波,王永利,陈征,陈华辉,金光.数据流窗口连接查询处理器研究[J].电子学报,2009,37(2):404-409. Qian Jiang-bo,Wang Yong-li,Chen Zheng,et al.Hardware processor for window joins over multiple data streams[J].Acta Electronica Sinica,2009,37(2):404-409.(in Chinese)
[5] B Brain,D Mayur,M Rajeev.Load shedding for aggregation queries over data streams[A].Proceedings of the 20th International Conference on Data Engineering[C].USA:IEEE,2004.350-361.
[6] D Mayur,M Rajeev.The sliding-window computation model and results[A].Data Streams[C].USA:Springer US,2007,31:149-167.
[7] K H Lee,Y J Lee,H Choi,Y D Chung,B Moon.Parallel data processing with MapReduce:a survey[J].ACM SIGMOD Record,2012,40(4):11-20.
[8] C Tyson,C Neil,A Peter,et al.MapReduce online[A].Proceedings of the 7th USENIX Conference on Networked Systems Design and Implementation[C].USA:ACM,2010.21-23.
[9] L Wang,L Lu,P STS,et al.Muppet:MapReduce style processing of fast data[J].Proceedings of the VLDB Endowment,2012.5(12):1814-1825.
[10] M Zaharia,T Das,H Y Li,et al.Discretized streams:An efficient and fault-tolerant model for stream processing on large clusters[A].Proceedings of the 4th USENIX Conference on Hot Topics in Cloud Computing[C].USA:ACM,2012.10-10.
[11] Twitter.Storm Project[OL].http://storm-project.net/,2011-08-16.
[12] L Neumeyer,B Robbins,A Nair,A Kesari.S4:Distributed stream computing platform[A].Proceedings of IEEE International Conference on Data Mining Workshops (ICDMW)[C].USA:IEEE,2010.170-177.
[13] S Scott,A Henrique,G Bugra,et al.Elastic scaling of data parallel operators in stream processing[A].Proceedings of IEEE International Symposium on Parallel & Distributed Processing[C].USA:IEEE,2009.1-12.
[14] T Heinze.Elastic complex event processing[A].Proceedings of the 8th Middleware Doctoral Symposium[C].USA:ACM,2011.1-6.

[1]	刘焕淋, 胡俊岭, 任杰, 胡会霞, 唐畅, 陈浩楠. 基于光路负载均衡和邻域匹配的串扰感知资源分配方法[J]. 电子学报, 2022, 50(11): 2746-2753.
[2]	刘耿耿, 李泽鹏, 郭文忠, 陈国龙, 徐宁. 面向超大规模集成电路物理设计的通孔感知的并行层分配算法[J]. 电子学报, 2022, 50(11): 2575-2583.
[3]	崔子熙, 胡宇翔, 兰巨龙, 王雨. 基于流分类的数据中心网络负载均衡机制[J]. 电子学报, 2021, 49(3): 559-565.
[4]	王宁远, 刘亮, 陈东, 刘欢, 郝时光. 低轨巨星座多品类业务流低复杂度分段路由方法[J]. 电子学报, 2021, 49(11): 2124-2132.
[5]	肖成龙, 王珊珊, 王心霖, 林军, 王晶玥. 可扩展处理器的自定义指令自动识别综述[J]. 电子学报, 2020, 48(8): 1655-1664.
[6]	江小玉, 李贵洋, 周悦, 胡金平, 李慧. 基于负载均衡的纠删码修复流水线[J]. 电子学报, 2020, 48(5): 930-936.
[7]	刘焕淋, 胡浩, 陈勇, 杜君丹, 向敏. 联合能耗与负载均衡的虚拟网络映射方法[J]. 电子学报, 2019, 47(12): 2488-2494.
[8]	黄建洋, 兰巨龙, 胡宇翔, 马腾. 一种基于分段路由的多路径流传输机制[J]. 电子学报, 2018, 46(6): 1488-1495.
[9]	胡涛, 张建辉, 邬江, 何为伟, 江逸茗, 赵伟. SDN中基于分布式决策的控制器负载均衡机制[J]. 电子学报, 2018, 46(10): 2316-2324.
[10]	林泽, 陈静, 罗杰馨, 吕凯. 基于改进1-π拓扑结构的螺旋电感可扩展模型[J]. 电子学报, 2017, 45(9): 2190-2194.
[11]	方馨蔚, 陈庶樵, 江逸茗, 任泽荣. 一种内容中心网络中的热区控制及内容调度缓存算法[J]. 电子学报, 2017, 45(5): 1182-1188.
[12]	陶晓玲, 韦毅, 王勇. 一种基于分层多代理的云计算负载均衡方法[J]. 电子学报, 2016, 44(9): 2106-2113.
[13]	盛洁, 马冬. 异构无线网络业务接入多目标优化控制算法[J]. 电子学报, 2016, 44(2): 282-288.
[14]	郑黎晓, 王成. XML模式推断研究综述[J]. 电子学报, 2016, 44(2): 461-471.
[15]	赵湘宁. 一种基于信号机制的能量感知地理路由算法[J]. 电子学报, 2015, 43(5): 965-973.

流水行云:支持可扩展的并行分布式流处理系统

SPSPS:A Scalable Parallel-Distributed Stream Processing System

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics