基于深度对抗学习潜在表示分布的异常检测模型

doi:10.12263/DZXB.20200970

摘要/Abstract

摘要：

针对已有的异常检测模型在高维、样本多样(类内多样)的数据背景下无法获得合理的潜在表示分布，不平衡数据较多(正常数据远大于异常数据)时特征提取准确性低，以及分类器超参数敏感等问题，本文提出一种基于深度对抗学习潜在表示分布的异常检测模型. 基于正则化约束改进自编码器，将数据的原始特征空间映射到潜在特征空间形成低维的潜在表示，使其保持合理的空间分布；配以基于多判别器的生成对抗网络，在有效避免重构特征循环不一致和训练不稳定的基础上，来精确估计潜在表示的概率分布；以获得的潜在表示概率分布为单类分类器的输入，解决单类分类器超参数敏感问题，从而有效提高异常检测的整体性能.实验结果表明，相比于最新的基于机器学习和深度学习的异常检测模型，本文模型可在高维、样本多样、不平衡数据较多的应用背景下获得更合理的潜在表示空间分布并有效估计其概率分布，对单类分类器的超参数不敏感，并有效提高模型的检测性能.

关键词: 异常检测, 深度学习, 自编码器, 生成对抗网络, 潜在表示, 特征融合

Abstract:

To solve the problems of the existing anomaly detection models, such as incoherent latent representation distribution under in high?dimensional and diverse(within each class) data background, the low accuracy of feature extraction when unbalanced data(normal data far outweighs abnormal data) is large, and the sensitivity of classifier’s hyperparameter, a deep adversarial learning latent representation distribution model for anomaly detection is proposed. Based on the regularization constraint, an improved autoencoder can map the original data feature space to a low?dimensional the latent feature space to get the reasonable latent representation distribution. On the premise of avoiding the problems of circulation inconsistent of reconstruction feature and unstable training, the multi?discriminator?based generative adversarial network can evaluate the latent representation probability distribution accurately, and to solve the hyperparameter sensitivity of one class classifier, so as to improve the overall performances of anomaly detection. Experimental results show that, compared with the up?to?date anomaly detection models based on machine learning and deep learning, the proposed model can obtain more coherent space distribution and ideal probability distribution of latent representation, is not sensitive to the hyperparameters of the single?class classifier, and effectively improve the detection performances under the application background with high?dimensional, diverse, unbalanced data.

Key words: anomaly detection, deep learning, autoencoder, generative adversarial network, latent representation, feature fusion

中图分类号:

TP183

席亮, 刘涵, 樊好义, 张凤斌. 基于深度对抗学习潜在表示分布的异常检测模型[J]. 电子学报, 2021, 49(7): 1257-1265.

Liang XI, Han LIU, Hao-yi FAN, Feng-bin ZHANG. Deep Adversarial Learning Latent Representation Distribution Model for Anomaly Detection[J]. Acta Electronica Sinica, 2021, 49(7): 1257-1265.

图/表 9

图1 基于深度对抗学习潜在表示分布的异常检测模型

表1 实验选取的数据集信息统计表

Dataset	Dimension	Training set	Test set
Dataset	Dimension	Training set	Normal	Abnormal
UNSW‑NB15	196	56000	37000	45332
Shuttle	9	3410	11478	3022
Arrhythmia	259	189	48	37

表2 实验选取的相关参数信息统计表

Dataset	batch_size	num_step	Learning_rate	$γ$
UNSW‑NB15	100	500	0.001	50
Shuttle	100	1000	0.001	50
Arrhythmia	100	1000	0.001	50

表2 实验选取的相关参数信息统计表

Dataset	batch_size	num_step	Learning_rate	$γ$
UNSW‑NB15	100	500	0.001	50
Shuttle	100	1000	0.001	50
Arrhythmia	100	1000	0.001	50

表3 模型在不同数据集下的网络参数设置

e θ

FC（196，136，tanh）

FC（136，75，tanh）

FC（75，15，tanh）

FC（9，7，tanh）

FC（7，6，tanh）

FC（6，4，tanh）

FC（259，178，tanh）

FC（178，98，tanh）

FC（98，17，tanh）

d θ

FC（15，75，tanh）

FC（75，136，tanh）

FC（136，196，tanh）

FC（4，6，tanh）

FC（6，7，tanh）

FC（7，9，tanh）

FC（17，98，tanh）

FC（98，178，tanh）

FC（178，259，tanh）

FC（15，32，relu）

FC（32，64，relu）

FC（64，196，relu）

FC（4，32，relu）

FC（32，64，relu）

FC（64，9，relu）

FC（17，32，relu）

FC（32，64，relu）

FC（64，259，relu）

D_XZ

FC（256，128，lrelu）

FC（128，1，lrelu）

FC（256，128，lrelu）

FC（128，1，lrelu）

FC（256，128，lrelu）

FC（128，1，lrelu）

D_XX

FC（392，128，lrelu）

FC（128，1，lrelu）

FC（18，128，lrelu）

FC（128，1，lrelu）

FC（518，128，lrelu）

FC（128，1，lrelu）

D_ZZ

FC（30，128，lrelu）

FC（128，1，lrelu）

FC（8，128，lrelu）

FC（128，1，lrelu）

FC（34，128，lrelu）

FC（128，1，lrelu）

表3 模型在不同数据集下的网络参数设置

模块

UNSW‑NB15

Shuttle

Arrhythmia

e θ

FC（196，136，tanh）

FC（136，75，tanh）

FC（75，15，tanh）

FC（9，7，tanh）

FC（7，6，tanh）

FC（6，4，tanh）

FC（259，178，tanh）

FC（178，98，tanh）

FC（98，17，tanh）

d θ

FC（15，75，tanh）

FC（75，136，tanh）

FC（136，196，tanh）

FC（4，6，tanh）

FC（6，7，tanh）

FC（7，9，tanh）

FC（17，98，tanh）

FC（98，178，tanh）

FC（178，259，tanh）

FC（15，32，relu）

FC（32，64，relu）

FC（64，196，relu）

FC（4，32，relu）

FC（32，64，relu）

FC（64，9，relu）

FC（17，32，relu）

FC（32，64，relu）

FC（64，259，relu）

D_XZ

FC（256，128，lrelu）

FC（128，1，lrelu）

FC（256，128，lrelu）

FC（128，1，lrelu）

FC（256，128，lrelu）

FC（128，1，lrelu）

D_XX

FC（392，128，lrelu）

FC（128，1，lrelu）

FC（18，128，lrelu）

FC（128，1，lrelu）

FC（518，128，lrelu）

FC（128，1，lrelu）

D_ZZ

FC（30，128，lrelu）

FC（128，1，lrelu）

FC（8，128，lrelu）

FC（128，1，lrelu）

FC（34，128，lrelu）

FC（128，1，lrelu）

表4 不同数据集的异常检测结果

模型	UNSW‑NB15		Shuttle		Arrhythmia
模型	LR_AUC	RE_AUC	LR_AUC	RE_AUC	LR_AUC	RE_AUC
OC‑SVM^［4］	79.2%	----	76.0%	----	80.7%	----
CEN^［19］	73.8%	----	88.1%	----	81.6%	----
GAN^［9］	----	42.7%	----	31.8%	----	35.5%
Efficient‑GAN^［23］	----	58.1%	----	49.3%	----	44.2%
DAE^［24］+OC‑SVM	53.6%	87.3%	76.2%	82.1%	66.8%	82.4%
DAE^［24］+CEN	74.3%	87.3%	93.1%	82.1%	73.8%	82.4%
SAE^［8］+OC‑SVM	89.3%	80.0%	78.1%	88.4%	74.0%	78.7%
SAE+CEN	88.6%	80.0%	80.0%	88.4%	75.4%	78.7%
DVAE^［8］+OC‑SVM	87.2%	80.3%	80.4%	88.0%	78.0%	78.5%
DVAE+CEN	87.9%	80.3%	84.9%	88.0%	77.7%	78.5%
DALR+OC‑SVM	90.9%	89.3%	93.3%	92.7%	82.8%	73.3%
DALR+CEN	90.8%	89.3%	93.2%	92.7%	82.9%	73.3%

图2 参数敏感性实验结果

图3 数据可视化结果

表5 UNSW?NB15数据集消融实验结果

模型	LR_AUC	RE_AUC
GAN	----	42.7%
AE+OC‑SVM	81.8%	81.1%
AE+CEN	79.6%	81.1%
正则化AE+OC‑SVM	84.5%	82.2%
正则化AE+CEN	84.7%	82.2%
AE+GAN+OC‑SVM	73.4%	79.8%
AE+GAN+CEN	73.7%	79.8%
DALR+OC‑SVM	90.9%	89.3%
DALR+CEN	90.8%	89.3%

表6 DALR算法效率

模型 Dataset	UNSW‑NB15	Shuttle	Arrhythmia
OC‑SVM^［4］	38.96	0.41	0.08
CEN ^［19］	0.56	0.02	0.01
GAN^［9］	1.72	0.10	0.03
Efficient‑GAN^［23］	0.14	0.02	0.04
DAE^［24］	0.58	0.08	0.03
SAE^［8］	0.64	0.08	0.03
DVAE^［8］	152.33	26.73	8.05
DALR	0.92	0.18	0.10

参考文献 25

1	梅御东，陈旭，孙毓忠，等. 一种基于日志信息和CNN‑ text的软件系统异常检测方法［J］. 计算机学报， 2020， 43（02）： 366 - 380.
	MEI Yu‑dong， CHEN Xu， SUN Yu‑zhong， et al. A method for software system anomaly detection based on log information and CNN‑Text［J］. Chinese Journal of Computers， 2020， 43（02）： 366 - 380. （in Chinese）
2	闻佳，王宏君，邓佳，刘鹏飞. 基于深度学习的异常事件检测［J］. 电子学报， 2020， 48（2）： 308 - 313.
	WEN Jia， WANG Hong‑jun， DENG Jia， LIU Peng‑fei. Abnormal event detection based on deep learning［J］. Acta Electronica Sinica， 2020， 48（2）： 308 - 313. （in Chinese）
3	Pauwels E J， Ambekar O. One class classification for anomaly detection： support vector data description revisited［A］. Proceedings of the 11th Industrial Conference on Data Mining： Applications and Theoretical Aspects ［C］. New York， USA： Springer， 2011. 25 - 39.
4	Zhang M， Xu B， Gong J. An anomaly detection model based on one‑class SVM to detect network intrusions［A］. Proceedings of the 11th International Conference on Mobile Ad‑hoc and Sensor Networks［C］. Shenzhen， China： IEEE， 2015. 102 - 107.
5	Erfani， Sarah M， Baktashmotlagh， Mahsa， Rajasegarar， Sutharshan. R1SVM： a randomised nonlinear approach to large‑scale anomaly detection［A］. Proceedings of the 29th AAAI Conference on Artificial Intelligence［C］. Austin， Texas， USA： AAAI， 2015. 1 - 7.
6	Bengio Y， Courville A， Vincent P. Representation learning： a review and new perspectives［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2013， 35（8）： 1798 - 1828.
7	Sakurada M， Yairi T. Anomaly detection using autoencoders with nonlinear dimensionality reduction［A］. Proceedings of the 2nd Workshop on Machine Learning for Sensory Data Analysis［C］. Gold Coast， Australia： ACM， 2014. 4 - 11.
8	Nicolau M， McDermott J. Learning neural representations for network anomaly detection［J］. IEEE Transactions on Cybernetics， 2018， 49（8）： 3074 - 3087.
9	Akcay S， Atapour‑Abarghouei A， Breckon T P. GANomaly： Semi‑supervised anomaly detection via adversarial training［A］. Proceedings of the 14th Asian Conference on Computer Vision［C］. Perth， Australia： Springer， 2018. 622 - 637.
10	Ngo P C， Winarto A A， Kou C， et al. Fence GAN： towards better anomaly detection［A］. Proceedings of the IEEE 31st International Conference on Tools with Artificial Intelligence［C］. Portland， OR， USA： IEEE， 2019. 141 - 148.
11	Jiang W， Hong Y， Zhou B， et al. A GAN‑based anomaly detection approach for imbalanced industrial time series［J］. IEEE Access， 2019， 7： 143608 - 143619.
12	Malaiya R K， Kwon D， Kim J， et al. An empirical evaluation of deep learning for network anomaly detection ［A］. Proceedings of the 2018 International Conference on Computing， Networking and Communications［C］. Maui， HI， USA： IEEE， 2018. 893 - 898.
13	Zhang C， Song D， Chen Y， et al. A deep neural network for unsupervised anomaly detection and diagnosis in multivariate time series data［A］. Proceedings of the 34th AAAI Conference on Artificial Intelligence ［C］. New York， USA： AAAI， 2019. 1409 - 1416.
14	Zong B， Song Q， Min M R， et al. Deep autoencoding Gaussian mixture model for unsupervised anomaly detection［A］. Proceedings of the 6th International Conference on Learning Representations［C］. Vancouver， BC， Canada： OpenReview， 2018. 1 - 19.
15	Li D， Chen D， Jin B， et al. MAD‑GAN： Multivariate anomaly detection for time series data with generative adversarial networks［A］. Proceedings of the 28th International Conference on Artificial Neural Networks ［C］. Munich， Germany： Springer， 2019. 703 - 716.
16	Kumarage T， Ranathunga S， Kuruppu C， et al. Generative adversarial networks （GAN） based anomaly detection in industrial software systems［A］. Proceedings of the 2019 Moratuwa Engineering Research Conference［C］. Moratuwa， Sri Lanka： IEEE， 2019. 43 - 48.
17	Schlegl T， Seeböck P， Waldstein S M， et al. f‑AnoGAN： Fast unsupervised anomaly detection with generative adversarial networks［J］. Medical image analysis， 2019， 54： 30 - 44.
18	Li C， Liu H， Chen C， et al. Alice： Towards understanding adversarial learning for joint distribution matching ［A］. Proceedings of the 31st Annual Conference on Neural Information Processing Systems［C］. Long Beach， USA： ACM， 2017. 5495 - 5503.
19	Sarmiento A， Irene Fondón， Iván Durán‑Díaz， et al. Centroid⁃based clustering with αβ‑divergences［J］. Entropy， 2019， 21（2）： ArticleID： 196.
20	Moustafa N， Slay J. UNSW‑NB15： a comprehensive data set for network intrusion detection systems （UNSW‑NB15 network data set）［A］. Proceedings of the 2015 Military Communications and Information Systems Conference［C］. Canberra， ACT， Australia： IEEE， 2015. 1 - 6.
21	Amarnath B， Balamurugan S A A. Review on feature selection techniques and its impact for effective data classification using UCI machine learning repository dataset［J］. Journal of Engineering Science and Technology， 2016， 11（11）：1639 - 1646.
22	DeCamilla J， Xia X， Wang M， et al. The multiple arrhythmia dataset evaluation database （MADAE）［J］. Journal of Electrocardiology， 2018， 51（6）： S106 - S112.
23	Fujioka T， Kubota K， Mori M， et al. Efficient anomaly detection with generative adversarial network for breast ultrasound imaging［J］. Diagnostics， 2020， 10（7）：ArticleID： 456.
24	Zhao H， Liu H， Hu W， et al. Anomaly detection and fault anAlysis of Wind tuRbine components based on deep learning network［J］. Renewable Energy， 2018， 127： 825 - 834.
25	Seyed‑Allaei H. Phase diagram of spiking neural networks［J］. Frontiers in Computational Neuroscience， 2015， 9： ArticleID： 19.

[1]	廖勇, 李玉杰. 一种轻量化低复杂度的FDD大规模MIMO系统CSI反馈方法[J]. 电子学报, 2022, 50(5): 1211-1217.
[2]	冀振燕, 韩梦豪, 宋晓军, 冯其波. 面向激光光条图像修复的循环相似度映射网络[J]. 电子学报, 2022, 50(5): 1234-1242.
[3]	潘敏婷, 王韫博, 朱祥明, 高思宇, 龙明盛, 杨小康. 基于无标签视频数据的深度预测学习方法综述[J]. 电子学报, 2022, 50(4): 869-886.
[4]	杨曦, 张鑫, 郭浩远, 王楠楠, 高新波. 基于不变特征的多源遥感图像舰船目标检测算法[J]. 电子学报, 2022, 50(4): 887-899.
[5]	严莉, 张凯, 徐浩, 韩圣亚, 刘珅岐, 史玉良. 基于图注意力机制和Transformer的异常检测[J]. 电子学报, 2022, 50(4): 900-908.
[6]	崔亚奇, 何友, 唐田田, 熊伟. 一种深度学习航迹关联方法[J]. 电子学报, 2022, 50(3): 759-763.
[7]	王雪松, 张翰林, 程玉虎. 基于自编码器和超图的半监督宽度学习系统[J]. 电子学报, 2022, 50(3): 533-539.
[8]	张浩, 胡昌华, 杜党波, 裴洪, 张建勋. 多状态影响下基于Bi‑LSTM网络的锂电池剩余寿命预测方法[J]. 电子学报, 2022, 50(3): 619-624.
[9]	肖进胜, 张舒豪, 陈云华, 王元方, 杨力衡. 双向特征融合与特征选择的遥感影像目标检测[J]. 电子学报, 2022, 50(2): 267-272.
[10]	骈纬国, 吴映波, 陈蒙, 蔡俊鹏. 一种基于时空动态图注意力网络的共享出行需求预测方法[J]. 电子学报, 2022, 50(2): 432-439.
[11]	杨创艳, 马军, 王晓东, 罗亭, 李卓睿. 特征融合与灰色回归的滚动轴承性能退化评估[J]. 电子学报, 2022, 50(1): 106-115.
[12]	李居朋, 王颖慧, 李刚. 医学图像关键点检测深度学习方法研究与挑战[J]. 电子学报, 2022, 50(1): 226-237.
[13]	张聿远, 张立民, 闫文君. 基于深度多级残差网络的低信噪比下空频分组码识别方法[J]. 电子学报, 2022, 50(1): 79-88.
[14]	赵琰, 赵凌君, 匡纲要. 基于注意力机制特征融合网络的SAR图像飞机目标快速检测[J]. 电子学报, 2021, 49(9): 1665-1674.
[15]	孙新, 盖晨, 申长虹, 张颖捷. 基于短语向量和主题加权的关键词抽取方法[J]. 电子学报, 2021, 49(9): 1682-1690.