电子学报 ›› 2022, Vol. 50 ›› Issue (8): 1975-1984.DOI: 10.12263/DZXB.20211477

• 学术论文 • 上一篇    下一篇

基于双向准循环神经网络和注意力机制的业务流程剩余时间预测方法

徐兴荣1, 刘聪1,2, 李婷1, 郭娜1(), 任崇广1(), 曾庆田2()   

  1. 1.山东理工大学计算机科学与技术学院,山东 淄博 255000
    2.山东科技大学计算机科学与工程学院,山东 青岛 266590
  • 收稿日期:2021-11-02 修回日期:2022-04-28 出版日期:2022-08-25
    • 通讯作者:
    • 刘聪
    • 作者简介:
    • 徐兴荣 男,1995年5月出生于山东省济南市.现为山东理工大学计算机科学与技术学院硕士研究生.主要研究方向为流程挖掘.
      刘 聪 男,1990年8月出生于山东省淄博市 . 现为山东理工大学计算机科学与技术学院教授、博士生导师. 主要研究方向为流程挖掘. E-mail: liucongchina@sdust.edu.cn
      李婷 女,1996年11月出生于山东省济宁市.现为山东理工大学计算机科学与技术学院硕士研究生.主要研究方向为流程挖掘.E-mail: Ltingoo@163.com
      郭娜 女,1996年7月出生于山东省淄博市.现为山东理工大学计算机科学与技术学院博士研究生.主要研究方向为流程挖掘.E-mail: guona_7@163.com
      任崇广 男,1982年7月出生于山东省淄博市.现为山东理工大学计算机科学与技术学院教授、硕士生导师.主要研究方向为智能装备.E-mail: renchg@sdut.edu.cn
      曾庆田 男,1976年1月出生于山东省潍坊市.现为山东科技大学计算机科学与工程学院教授、博士生导师.主要研究方向为流程挖掘.E-mail: qtzeng@163.com
    • 基金资助:
    • 国家自然科学基金 (61902222); 山东省泰山学者工程专项基金 (ts20190936); 山东省自然科学基金优秀青年基金 (ZR2021YQ45); 山东省高等学校青创科技计划创新团队项目 (2021KJ031)

Business Process Remaining Time Prediction: An Approach Based on Bidirectional Quasi Recurrent Neural Network with Attention

XU Xing-rong1, LIU Cong1,2, LI Ting1, GUO Na1(), REN Chong-guang1(), ZENG Qing-tian2()   

  1. 1.School of Computer Science and Technology,Shandong University of Technology,Zibo,Shandong 255000,China
    2.College of Computer Science and Engineering,Shandong University of Science and Technology,Qingdao,Shandong 266590,China
  • Received:2021-11-02 Revised:2022-04-28 Online:2022-08-25 Published:2022-09-08
    • Corresponding author:
    • LIU Cong

摘要:

业务流程预测可以有效帮助企业进行流程控制和传递高质量服务,因此作为此类场景中的核心任务之一,业务流程剩余时间预测得到国内外学者的广泛关注.当前,在利用深度学习技术对业务流程剩余时间进行预测时,大都采用传统长短期记忆循环神经网络,然而,由于长短期记忆循环神经网络在处理序列数据的过程中缺乏并行性且建模能力有限,使得预测准确度还有进一步提升空间.因此,本文提出一种基于双向准循环神经网络和注意力机制的业务流程剩余时间预测方法.首先,该方法以双向准循环神经网络构建剩余时间预测模型,并在预测模型中融入注意力机制增强双向准循环神经网络输出的特征信息.其次,设计了一种基于不同长度轨迹前缀训练迭代策略,解决流程实例中不同长度轨迹前缀数量存在差异性的问题.最后,提出一种基于Word2vec的事件表示学习方法,实现对同一轨迹且经常出现事件的相似性向量表示,从而达到提高剩余时间预测准确度的目的.经在5个公开事件日志数据集上实验,本文方法与已有方法相比在预测准确度上平均提高近15%,模型训练时间平均缩短约26%.

关键词: 深度学习, 准循环神经网络, 业务流程, 剩余时间预测, 事件表示学习

Abstract:

Business process prediction can effectively facilitate enterprises to control processes and deliver high-quality services. As one of the core tasks of process prediction, remaining time prediction has been widely concerned by scholars. Currently, traditional long short-term memory(LSTM) neural networks have been used to predict the remaining time of business process instances. However, due to the lack of parallelism and limited modeling ability of LSTM in processing sequence data,the accuracy of prediction has further room to improve. In this paper, the remaining time prediction method based on bidirectional quasi-recurrent neural network with attention is proposed. Firstly, this method uses the bidirectional quasi-recurrent neural network to build the prediction model, and adds the attention mechanism to the model enhances the characteristic information of the bidirectional quasi-recurrent neural network output.Secondly, a training iteration strategy based on different length trace prefixes is designed, which solves the problem of the difference in the number of trace prefixes of different lengths. Finally, event representation learning method is proposed, to achieve vectors representation of similarity to the same traces and frequent events, improves the accuracy of the remaining time prediction. Experiments on five public event log datasets show this method has improved the accuracy of prediction by an average of nearly 15%, and the average training time is reduced by about 26%, compared with the existing methods.

Key words: deep learning, quasi-recurrent neural network, business process, remaining time prediction, event representation learning

中图分类号: