电子学报 ›› 2022, Vol. 50 ›› Issue (2): 346-357.DOI: 10.12263/DZXB.20201414

• 学术论文 • 上一篇    下一篇

基于深度增强学习与子流耦合感知的多路传输控制机制

秦久人1, 许长桥1, 杨树杰1, 高楷1, 张宏科2   

  1. 1.北京邮电大学网络与交换技术国家重点实验室,北京 100876
    2.北京交通大学电子信息工程学院,北京 100044
  • 收稿日期:2020-12-09 修回日期:2021-03-04 出版日期:2022-02-25 发布日期:2022-02-25
  • 通讯作者: 许长桥
  • 作者简介:秦久人 女,1992年生于河北省廊坊市.北京邮电大学计算机学院网络与交换技术国家重点实验室博士研究生.主要研究方向为多路径传输、人工智能、多媒体通信等. E-mail: jrqin@bupt.edu.cn
    许长桥(通讯作者) 男,1977年生于江西省吉安市.博士,教授、博士生导师.北京邮电大学网络与交换技术国家重点实验室网络体系结构研究中心主任.主要研究方向为移动互联网、未来网络、网络多媒体、网络安全. E-mail: cqxu@bupt.edu.cn
    杨树杰 男,1989年生于山东省烟台市.博士,讲师、硕士生导师.主要研究方向为移动互联网、网络空间安全、网络资源优化等. E-mail: sjyang@bupt.edu.cn
    高 楷 男,1992年生于河北省邯郸市.北京邮电大学计算机学院网络与交换技术国家重点实验室博士研究生.主要研究方向为多路径传输、软件定义网络、博弈论等. E-mail: gaokai@bupt.edu.cn
    张宏科 男,1957年生于山西省大同市.博士,教授、博士生导师.北京交通大学下一代互联网络互联设备国家工程实验室主任.国家973项目“一体化可信网络与普适服务体系基础研究”与“智慧协同网络理论基础研究”首席科学家.主要研究方向为下一代信息网络关键理论与技术.E-mail: hkzhang@bjtu.edu.cn
  • 基金资助:
    国家自然科学基金(61871048);国家重点研发项目(2018YFE0205502)

Multipath Transmission Control Mechanism Based on Deep Reinforcement Learning and Sub-flow Coupling Perception

QIN Jiu-ren1, XU Chang-qiao1, YANG Shu-jie1, GAO Kai1, ZHANG Hong-ke2   

  1. 1.State Key Laboratory of Networking and Switching Technology,Beijing University of Posts and Telecommunication,Beijing 100876,China
    2.School of Electronic and Information Engineering,Beijing Jiaotong University,Beijing 100044,China
  • Received:2020-12-09 Revised:2021-03-04 Online:2022-02-25 Published:2022-02-25
  • Contact: XU Chang-qiao

摘要:

为了解决多路传输中子流耦合感知缺乏与传输控制效率低下等的问题,针对未来异构、动态的网络环境,提出了一种基于耦合感知与深度Q网络的多路传输控制机制(WaveLet and Deep Q Network based multipath transmission control mechanism,WL-DQN).利用小波去噪技术,消除子流单向传输时延中由非耦合路段及系统随机产生的噪声,并基于子流互相关系数对子流耦合特性进行提取;在此基础上,依据深度增强学习理论对多路传输控制进行建模,并提出多路DQN拥塞控制算法,实现了异构、动态网络环境下的智能多路拥塞控制.仿真结果表明,所提算法在传输吞吐量、传输时延、数据包重传避免等方面均优于标准及相似的代表性解决方案.

关键词: 多路传输, 耦合识别, 深度增强学习, 拥塞控制, 网络感知体

Abstract:

To solve the problems of lacking coupled sub-flow perception and low transmission control efficiency for multipath transmission, a multipath transmission control mechanism based on wavelet and deep Q network(WL-DQN) is proposed for future heterogeneous and dynamic networks. Wavelet techniques are adopted to eliminate the noise caused by uncoupled queueing and system random delay in the one-way transmission delay, and the coupling characteristics are extracted based on the path correlation factors. On this basis, the deep reinforcement learning theories are applied to model the multipath transmission control, and the multipath DQN control algorithm is developed to realize the intelligent multipath congestion control under the heterogeneous and dynamic networks. Simulation results demonstrate that the proposed algorithms outperform the standard and similar representative solutions in terms of transmission throughput, transmission delay, packet retransmission avoidance, etc.

Key words: multipath transmission, coupling detection, deep reinforcement learning, congestion control, network awareness

中图分类号: