一种基于深度强化学习的协同通信干扰决策算法

doi:10.12263/DZXB.20210814

电子学报 ›› 2022, Vol. 50 ›› Issue (6): 1301-1309.DOI: 10.12263/DZXB.20210814

所属专题：电磁频谱智能+

一种基于深度强化学习的协同通信干扰决策算法

宋佰霖, 许华, 齐子森, 饶宁, 彭翔

空军工程大学信息与导航学院，陕西西安 710077

收稿日期:2021-06-30 修回日期:2022-01-05 出版日期:2022-06-25
- 作者简介:
- 宋佰霖男，1997年出生，辽宁沈阳人.现为空军工程大学硕士研究生.主要研究方向为通信对抗智能决策和深度强化学习.E-mail: songbail@126.com
  许华男，1976年出生，湖北宜昌人.现为空军工程大学信息与导航学院教授、博士生导师.主要研究方向为通信对抗、信号盲处理.E-mail: 13720720010@139.com
- 基金资助:
- 国家自然科学基金青年基金 (6190656)

A Collaborative Communication Jamming Decision Algorithm Based on Deep Reinforcement Learning

SONG Bai-lin, XU Hua, QI Zi-sen, RAO Ning, PENG Xiang

Information and Navigation School, Air Force Engineering University, Xi’an, Shaanxi 710077, China

Received:2021-06-30 Revised:2022-01-05 Online:2022-06-25 Published:2022-06-25
- Supported by:
- Youth Fund of National Natural Science Foundation of China (6190656)

摘要/Abstract

摘要：

针对协同电子战中跳频通信干扰协同决策难题，通过构建“整体优化、逐站决策”的协同决策模型，基于深度强化学习技术，设计了在Actor-Critic算法架构下融合优势函数的决策算法，并在奖励函数中嵌入专家激励机制以提高算法的探索能力，采用集中式训练方法优化决策网络，使算法能够输出资源利用率最高的干扰方案，并大幅提高决策效率.仿真结果表明，相比于现有智能决策算法，本文算法给出的干扰方案能够节约8%干扰资源，决策效率提高50%以上，具有较大实用价值.

关键词: 深度强化学习, 通信干扰决策, 干扰资源分配, 优势函数, 专家激励

Abstract:

In order to solve the problem of collaborative decision-making of frequency-hopping communication jamming in collaborative electronic warfare, based on deep reinforcement learning, a collaborative jamming decision-making algorithm based on actor-critic algorithm framework is proposed, which fuses dominant functions by building a collaborative decision-making model of "overall optimization and making decision station by station". An expert experience mechanism is embedded in the reward function to improve the exploration ability of the algorithm, and the decision network is optimized by the distributed execution-centralized training method, so that the algorithm can output the jamming scheme with the highest resource utilization rate and greatly improve the efficiency of decision-making. The simulation results show that, compared with the existing intelligent decision algorithms, the jamming scheme presented in this paper can save 8% of the interference resources and improve the decision efficiency by more than 50%, which is of great practical value.

Key words: deep reinforcement learning, communication jamming decision-making, jamming resource allocation, advantage function, expert incentive

中图分类号:

TN975

宋佰霖, 许华, 齐子森, 等. 一种基于深度强化学习的协同通信干扰决策算法[J]. 电子学报, 2022, 50(6): 1301-1309.

Bai-lin SONG, Hua XU, Zi-sen QI, et al. A Collaborative Communication Jamming Decision Algorithm Based on Deep Reinforcement Learning[J]. Acta Electronica Sinica, 2022, 50(6): 1301-1309.

图/表 14

图1 典型干扰场景

图2 模型工作流程

表1 干扰动作编码表

	1号阵地	2号阵地	…	N号阵地
15°	0	11	…	11( $N - 1$ )
30°	1	12	…	11( $N - 1$ )+1
45°	2	13	…	11( $N - 1$ )+2
60°	3	14	…	11( $N - 1$ )+3
75°	4	15	…	11( $N - 1$ )+4
90°	5	16	…	11( $N - 1$ )+5
105°	6	17	…	11( $N - 1$ )+6
120°	7	18	…	11( $N - 1$ )+7
135°	8	19	…	11( $N - 1$ )+8
150°	9	20	…	11( $N - 1$ )+9
165°	10	21	…	11( $N - 1$ )+10

表1 干扰动作编码表

	1号阵地	2号阵地	…	N号阵地
15°	0	11	…	11( $N - 1$ )
30°	1	12	…	11( $N - 1$ )+1
45°	2	13	…	11( $N - 1$ )+2
60°	3	14	…	11( $N - 1$ )+3
75°	4	15	…	11( $N - 1$ )+4
90°	5	16	…	11( $N - 1$ )+5
105°	6	17	…	11( $N - 1$ )+6
120°	7	18	…	11( $N - 1$ )+7
135°	8	19	…	11( $N - 1$ )+8
150°	9	20	…	11( $N - 1$ )+9
165°	10	21	…	11( $N - 1$ )+10

图3 AFCJD算法流程图

表2 侦察目标信息

目标	使用跳频波道	位置坐标
1	1	(280,149)
2	4	(177,66)
3	1	(174,662)
4	3	(279,330)
5	3	(168,241)
6	2	(192,651)
7	6	(152,483)
8	2	(242,58)
9	6	(290,423)
10	4	(208,47)
11	4	(290,145)
12	1	(274,527)
13	4	(155,636)
14	3	(210,481)
15	6	(263,549)
16	4	(182,542)
17	4	(298,372)
18	2	(245,418)
19	5	(212,287)
20	5	(205,361)

图4 干扰站及目标位置示意图

表3 算法参数设置

网络	参数	初始值
Actor网络	神经网络学习率 $α$	0.000 5
	神经网络学习率 $α$ (0.7< $J S$ ≤0.8)	0.000 05
	神经网络学习率 $α$ (0.8< $J S$ ≤0.9)	0.000 03
	神经网络学习率 $α$ (0.9< $J S$ ≤0.95)	0.000 02
	神经网络学习率 $α$ ( $J S$ >0.95)	0.000 01
	隐藏层个数	2
	隐藏层神经元数量	48, 32
	衰减因子 $γ$	0.9
Critic网络	神经网络学习率 $α$	0.005
	神经网络学习率 $α$ (0.7< $J S$ ≤0.8)	0.000 5
	神经网络学习率 $α$ (0.8< $J S$ ≤0.9)	0.000 3
	神经网络学习率 $α$ (0.9< $J S$ ≤0.95)	0.000 2
	神经网络学习率 $α$ ( $J S$ >0.95)	0.000 01
	隐藏层个数	2
	隐藏层神经元数量	48, 16
	衰减因子 $γ$	0.9

表3 算法参数设置

网络	参数	初始值
Actor网络	神经网络学习率 $α$	0.000 5
	神经网络学习率 $α$ (0.7< $J S$ ≤0.8)	0.000 05
	神经网络学习率 $α$ (0.8< $J S$ ≤0.9)	0.000 03
	神经网络学习率 $α$ (0.9< $J S$ ≤0.95)	0.000 02
	神经网络学习率 $α$ ( $J S$ >0.95)	0.000 01
	隐藏层个数	2
	隐藏层神经元数量	48, 32
	衰减因子 $γ$	0.9
Critic网络	神经网络学习率 $α$	0.005
	神经网络学习率 $α$ (0.7< $J S$ ≤0.8)	0.000 5
	神经网络学习率 $α$ (0.8< $J S$ ≤0.9)	0.000 3
	神经网络学习率 $α$ (0.9< $J S$ ≤0.95)	0.000 2
	神经网络学习率 $α$ ( $J S$ >0.95)	0.000 01
	隐藏层个数	2
	隐藏层神经元数量	48, 16
	衰减因子 $γ$	0.9

图5 干扰成功率对比

图6 平均奖励值对比

图7 干扰站数量对比

图8 最优干扰方案对比

图9 干扰成功率对比

图10 干扰站数量对比

图11 奖励值

参考文献 13

1	XIAOL, LIUJ L, LIQ D, et al. User-centric view of jamming games in cognitive radio networks[J]. IEEE Transactions on Information Forensics and Security, 2015, 10(12): 2578-2590.
2	AMURUS, DHILLONH S, BUEHRERR M. On jamming against wireless networks[J]. IEEE Transactions on Wireless Communications, 2017, 16(1): 412-428.
3	ZHOUP, WANGQ, WANGW, et al. Near-optimal and practical jamming-resistant energy-efficient cognitive radio communications[J]. IEEE Transactions on Information Forensics and Security, 2017, 12(11): 2807-2822.
4	JIANGH Q, ZHANGY R, XUH Y. Optimal allocation of cooperative jamming resource based on hybrid quantum-behaved particle swarm optimization and genetic algorithm[J]. IET Radar, Sonar & Navigation, 2017, 11(1): 185-192.
5	施伟, 冯旸赫, 程光权, 等. 基于深度强化学习的多机协同空战方法研究[J]. 自动化学报, 2021, 47(7): 1610-1623.
	SHIW, FENGY H, CHENGG Q, et al. Research on multi-aircraft cooperative air combat method based on deep reinforcement learning[J]. Acta Automatica Sinica, 2021, 47(7): 1610-1623. (in Chinese)
6	ZHUANSUNS S, YANGJ N, LIUH. An algorithm for jamming strategy using OMP and MAB[J]. EURASIP Journal on Wireless Communications and Networking, 2019, 2019(1): 1-11.
7	AMURUS, TEKINC, SCHAARM VAN DER, et al. Jamming bandits—A novel learning method for optimal jamming[J]. IEEE Transactions on Wireless Communications, 2016, 15(4): 2792-2808.
8	颛孙少帅, 杨俊安, 刘辉, 等. 采用双层强化学习的干扰决策算法[J]. 西安交通大学学报, 2018, 52(2): 63-69.
	ZHUANSUNS S, YANGJ N, LIUH, et al. An algorithm for jamming decision using dual reinforcement learning[J]. Journal of Xi'an Jiaotong University, 2018, 52(2): 63-69. (in Chinese)
9	许华, 宋佰霖, 蒋磊, 等. 一种通信对抗干扰资源分配智能决策算法[J]. 电子与信息学报, 2021, 43(11): 3086-3095.
	XUH, SONGB L, JIANGL, et al. An intelligent decision-making algorithm for communication countermeasure jamming resource allocation[J]. Journal of Electronics & Information Technology, 2021, 43(11): 3086-3095. (in Chinese)
10	MNIHV, BADIAA P, MIRZAM, et al. Asynchronous methods for deep reinforcement learning[C]//Proceedings of the 33rd International Conference on Machine Learning(ICML). New York: ACM, 2016: 1928-1937.
11	MNIHV, KAVUKCUOGLUK, SILVERD, et al. Human-level control through deep reinforcement learning[J]. Nature, 2015, 518(7540): 529-533.
12	HUYNHN VAN, NGUYEND N, HOANGD T, et al. "Jam me if You can: " defeating jammer with deep dueling neural network architecture and ambient backscattering augmented communications[J]. IEEE Journal on Selected Areas in Communications, 2019, 37(11): 2603-2620.
13	陈思光, 陈佳民, 赵传信. 基于深度强化学习的云边协同计算迁移研究[J]. 电子学报, 2021, 49(1): 157-166.
	CHENS G, CHENJ M, ZHAOC X. Deep reinforcement learning based cloud-edge collaborative computation offloading mechanism[J]. Acta Electronica Sinica, 2021, 49(1): 157-166. (in Chinese)

[1]	张颖辉, 张艳梅, 张志成, 姜淑娟, 丁艳茹, 袁冠. 基于深度强化学习的类集成测试序列生成方法[J]. 电子学报, 2023, 51(2): 455-466.
[2]	许艺瀚, 田永波, 张扬刚, 花敏, 周雯. 基于学习的能量采集认知M2M通信资源分配算法[J]. 电子学报, 2023, 51(2): 467-476.
[3]	段世红, 何昊, 徐诚, 殷楠, 王然. 未知环境下基于深度序列蒙特卡罗树搜索的信源导航方法[J]. 电子学报, 2022, 50(7): 1744-1752.
[4]	饶宁, 许华, 蒋磊, 宋佰霖, 史蕴豪. 基于多智能体深度强化学习的分布式协同干扰功率分配算法[J]. 电子学报, 2022, 50(6): 1319-1330.
[5]	易令, 李泽平. 基于深度强化学习的码率自适应算法研究[J]. 电子学报, 2022, 50(5): 1192-1200.
[6]	肖硕, 黄珍珍, 张国鹏, 杨树松, 江海峰, 李天旭. 基于SAC的多智能体深度强化学习算法[J]. 电子学报, 2021, 49(9): 1675-1681.
[7]	韩冲, 王俊丽, 吴雨茜, 张超波. 基于神经进化的深度学习模型研究综述[J]. 电子学报, 2021, 49(2): 372-379.
[8]	刘润滋, 吴伟华, 张文柱, 周笛, 张琰. 基于图学习的密集空间网络传输资源调度方法[J]. 电子学报, 2021, 49(11): 2133-2137.
[9]	陈思光, 陈佳民, 赵传信. 基于深度强化学习的云边协同计算迁移研究[J]. 电子学报, 2021, 49(1): 157-166.
[10]	黄志清, 曲志伟, 张吉, 张严心, 田锐. 基于深度强化学习的端到端无人驾驶决策[J]. 电子学报, 2020, 48(9): 1711-1719.

一种基于深度强化学习的协同通信干扰决策算法

A Collaborative Communication Jamming Decision Algorithm Based on Deep Reinforcement Learning

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 14

参考文献 13

相关文章 10

编辑推荐

Metrics