电子学报 ›› 2022, Vol. 50 ›› Issue (4): 900-908.DOI: 10.12263/DZXB.20210722

• 机器学习交叉融合创新 • 上一篇    下一篇

基于图注意力机制和Transformer的异常检测

严莉1, 张凯1, 徐浩1(), 韩圣亚1(), 刘珅岐1(), 史玉良2()   

  1. 1.国网山东省电力公司信息通信公司,山东 济南 250013
    2.山东大学软件学院,山东 济南 250101
  • 收稿日期:2021-06-07 修回日期:2022-01-19 出版日期:2022-04-25 发布日期:2022-04-25
  • 作者简介:严 莉(通讯作者) 女,1975年出生,浙江宁波人,硕士,高级工程师,国网山东省电力公司优秀专家人才,现任国网山东省电力公司信息通信公司数据中心主任,从事信息化建设、运维管理等方面的研究工作.E-mail: yanli@sd.sgcc.com.cn
    张 凯 男,1989年出生,山东德州人,华北电力大学计算机技术专业硕士,工程师,国网山东省电力公司信息通信公司技术骨干,从事数字化建设及运营、人工智能自然语言理解等方面的研究工作. E-mail: zhangkai@sd.sgcc.com.cn
    徐 浩 男,1988年出生,山东莱芜人,北京邮电大学计算机技术专业硕士,工程师,国网山东省电力公司信息通信公司技术骨干,从事大数据平台建设及运营、人工智能、云计算等方面的研究工作.E-mail: xuhao@sd.sgcc.com.cn
    韩圣亚 男,1990年出生,山东济南人,北京邮电大学计算机科学与技术专业硕士,工程师,国网山东省电力公司信息通信公司技术骨干,从事信息系统运维、智慧物联体系建设等方面的研究工作.E-mail: hanshengya@sd.sgcc.com.cn
    刘珅岐 男,1993年出生,山东济南人,山东大学计算机科学与技术专业硕士,工程师,国网山东省电力公司信息通信公司数据中心技术骨干,从事云计算、大数据分析与管理、人工智能等方面的研究工作.E-mail: liushenqi@sd.sgcc.com.cn
    史玉良 男,1978年10月出生,山东威海人,山东大学软件学院教授、博士生导师,山东省社会保障大数据工程实验室主任,中国计算机学会协同计算专委会委员、服务计算专委会委员,从事大数据、服务计算、人工智能等方面的研究工作. E-mail: shiyuliang@sdu.edu.cn
  • 基金资助:
    国网山东省电力公司科技项目(2020A-135)

Abnormal Detection Based on Graph Attention Mechanisms and Transformer

YAN Li1, ZHANG Kai1, XU Hao1(), HAN Sheng-ya1(), LIU Shen-qi1(), SHI Yu-liang2()   

  1. 1.State Grid Shandong Electric Power Company Information and Communication Company,Jinan,Shandong 250013,China
    2.School of Software,Shandong University,Jinan,Shandong 250101,China
  • Received:2021-06-07 Revised:2022-01-19 Online:2022-04-25 Published:2022-04-25

摘要:

异常检测对电力行业的发展有着重要的影响,如何根据大规模电力数据进行异常检测是重要的研究热点.目前,大多数研究通过聚类或神经网络进行异常检测. 但是这些方法忽略了时序数据之间潜在的关联关系及某些特点的重要信息,没有充分挖掘出数据的潜在价值. 因此,提出了一种基于图注意力和Transformer的异常检测模型. 该模型首先根据数据中台中获取的电力数据(主要包括用户ID、电能表ID、用户类型、电流、电压、功率等数据)构建一个异构信息网络;然后,为了减少模型参数和避免出现过拟合的现象,在图卷积网络(Graph Convolutional Network,GCN)模型的基础上,引入非负矩阵分解(Non-Negative Matrix Factorization,NNMF)的方法来进行相似性学习;最后采用图注意力网络(Graph Attention Network,GAT)和Transformer共同捕获数据间的相互关联关系,从而提高检测精度. 以中国某地区的电力数据为基础进行验证, 实验结果表明所提出的方法可以有效进行异常检测.

关键词: 异常检测, 异构信息网络, 相似性学习, 图注意力网络, Transformer

Abstract:

Anomaly detection has an important impact on the development of the electric power industry, and how to detect anomalies based on large-scale power data is a research hotspot. At present, most researches use clustering or neural network to detect anomalies. But these methods ignore the potential relationship between the data and miss some specific important information, and do not fully exploit the potential value of the data. Therefore, an abnormal detection model based on graph attention and transformer is proposed. The model first constructs a heterogeneous information network based on the power data (mainly including user ID, meter ID, user type, electrical current, voltage, power, etc.) collected in the data center; then, in order to reduce the model parameters and avoid the phenomenon of overfitting, on the basis of the graph convolutional network (GCN) model, a non-negative matrix factorization (NNMF) method is introduced to perform similarity learning; finally, a graph attention network (GAT) and Transformer are jointly used to capture the correlation relationships between data, thus improving the detection accuracy. The validation analysis is carried out based on the power data of a region in China. The experimental results show that the proposed method can effectively perform anomaly detection.

Key words: abnormal detection, heterogeneous information network, similarity learning, graph attention, Transformer

中图分类号: