基于遗传非参数MDL-BW方法的HMM结构优化

doi:10.12263/DZXB.20210870

电子学报 ›› 2022, Vol. 50 ›› Issue (11): 2765-2772.DOI: 10.12263/DZXB.20210870

基于遗传非参数MDL-BW方法的HMM结构优化

徐佳伟¹^,², 罗倩¹^,²

^1.北京信息科技大学信息与通信工程学院, 北京 100101
^2.北京信息科技大学光电测试技术及仪器教育部重点实验室, 北京 100101

收稿日期:2021-07-09 修回日期:2021-12-02 出版日期:2022-11-25
- 作者简介:
- 徐佳伟男,1996年12月出生于湖南省株洲市.现为北京信息科技大学硕士研究生.主要研究方向为机器学习.E‑mail: wangyiemail163@163.com
  罗倩女,1965年12月出生于山西省太原市.现为北京信息科技大学副教授.主要研究方向为信号与信息处理,大数据处理.E‑mail: luoqian@bistu.edu.cn
- 基金资助:
- 企业委托基金 (9151524108)

HMM Structure Optimization Based on Genetic Nonparametric MDL-BW Method

XU Jia-wei¹^,², LUO Qian¹^,²

^1.College of Information and Communication Engineering，Beijing Information Science & Technology University，Beijing 100101，China
^2.Key Laboratory of the Ministry of Education for Optoelectronic Measurement Technology and Instrument，Beijing Information Science & Technology University，Beijing 100101，China

Received:2021-07-09 Revised:2021-12-02 Online:2022-11-25 Published:2022-11-19

摘要/Abstract

摘要：

隐马尔科夫模型（Hidden Markov Model，HMM）广泛用于语音信号等时序信号的建模.HMM的结构优化包括模型参数个数优化和参数值的优化.针对传统的用于训练HMM的鲍姆-韦尔奇（Baum Welch，BW）算法在寻求最优解时容易陷入局部极值以及无法优化HMM参数个数的问题，本文提出了遗传非参数MDL-BW方法.该方法通过结合遗传（Genetic Algorithm，GA）算法随机搜索的特点和自适应思想来扩大HMM参数值解的搜索空间，结合非参数思想帮助自动寻求HMM的合适参数个数，同时以最小描述长度MDL（Minimum Description Length，MDL）作为模型优化准则来寻求HMM在全局上的最优结构.仿真数据、语音数据以及人体动作数据的仿真结果表明遗传非参数MDL-BW方法相较BW方法等同类方法在HMM结构的寻求上具有更好的效果.

关键词: 随机搜索, MDL准则, 非参数, 结构优化, 全局优化, 隐马尔科夫模型, BW方法

Abstract:

Hidden Markov model(HMM) is widely used for modeling time series signals such as speech signals. The structural optimization of HMM includes optimization of the number of model parameters and parameter values. Aiming at the problem that the traditional Baum Welch(BW) method used to train HMM is easy to fall into local maxima and the number of parameters cannot be optimized when seeking the optimal solution, genetic nonparametric MDL-BW method was proposed. This method expanded the search space of parameter values of HMM by combining the characteristics of stochastic search of genetic algorithm(GA) with adaptive ideas, and combined nonparametric ideas to help automatically find the appropriate number of HMM parameters, and used minimum description length(MDL) as optimization criterion to find the global optimal structure of HMM. Based on simulation data, speech data and human action data, the results show that the genetic nonparametric MDL-BW method has a better performance in searching for the structure of the HMM comparing with the BW method and other similar methods.

Key words: stochastic search, minimum description length(MDL) criterion, nonparametric, structural optimization, global optimization, hidden Markov model(HMM), Baum Welch(BW) method

中图分类号:

TP181

徐佳伟, 罗倩. 基于遗传非参数MDL-BW方法的HMM结构优化[J]. 电子学报, 2022, 50(11): 2765-2772.

XU Jia-wei, LUO Qian. HMM Structure Optimization Based on Genetic Nonparametric MDL-BW Method[J]. Acta Electronica Sinica, 2022, 50(11): 2765-2772.

图/表 10

参考文献 15

1	刘建伟, 黎海恩, 等. 概率图模型的表示理论综述[J]. 电子学报, 2016, 44(5): 1219‐1226.
	LIU Jian-wei, LI Hai-en, et al. A survey on the representation theory of probabilistic graphical models[J]. Acta Electronica Sinica, 2016, 44(5): 1219‐1226. (in Chinese)
2	SUNDARARAJAN P K. Improving the Performance and Understanding of the Expectation Maximization Algorithm: Evolutionary and Visualization Methods[D]. Pittsburgh, PA: Carnegie Mellon University, 2016.
3	张西宁, 雷威, 等. 采用自适应基因粒子群算法优化隐马尔科夫模型的方法及应用[J]. 西安交通大学学报, 2018, 52(8): 1‐8.
	ZHANG Xining, LEI Wei, et al. Adaptive genetic particle swarm algorithm for optimization hidden Markov models with applications[J]. Journal of Xi'an Jiaotong University, 2018, 52(8): 1‐8. (in Chinese)
4	BENMACHICHE A, MAKHLOUF A, BOUHADADA T. Evolutionary learning of HMM with Gaussian mixture densities for automatic speech recognition[C]//Proceedings of the 9th International Conference on Information Systems and Technologies(ICIST). Cairo, Egypt: ACM, 2019: 1‐6.
5	MAKHLOUF A, LAZLI L, BENSAKER B. Evolutionary structure of hidden Markov models for audio-visual Arabic speech recognition[J]. International Journal of Signal and Imaging Systems Engineering, 2016, 9(1): 55‐66.
6	崔佳旭, 杨博. 贝叶斯优化方法和应用综述[J]. 软件学报, 2018, 29(10): 3068‐3090.
	CUI Jia-xu, YANG Bo. Survey on Bayesian optimization methodology and applications[J]. Journal of Software, 2018, 29(10): 3068‐3090. (in Chinese)
7	杨扬. 基于最小描述长度的大规模图数据结构分析[D]. 合肥: 中国科学技术大学, 2018.
	YANG Yang. Structure Analysis of Large Graph Data Based on Minimum Description Length[D]. Hefei: University of Science and Technology of China, 2018. (in Chinese)
8	王为凯. 基于GMM-HMM的声学模型训练研究[D]. 广州: 华南理工大学, 2016.
	WANG Weikai. Rearch of the GMM-HMM Based Acoustic Models[D]. Guangzhou: South China University of Technology, 2016. (in Chinese)
9	李航. 统计学习方法[M]. 北京：清华大学出版社, 2012: 181‐183.
10	AMSALU S B, HOMAIFAR A. Driver behavior modeling near intersections using hidden Markov model based on genetic algorithm[C]//IEEE International Conference on Intelligent Transportation Engineering(ICITE). Singapore: IEEE, 2016: 193‐200.
11	BISHOP C M. Pattern Recognition and Machine Learning[M]. New York: Springer, 2006: 627‐629.
12	LEHRMANN A M, GEHLER P V, NOWOZIN S. Efficient nonlinear markov models for human motion[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR). Columbus, OH, USA: IEEE, 2014: 1314‐1321.
13	LI Wanqing, ZHANG Zhengyou, LIU Zicheng. Action recognition based on a bag of 3D points[C]//Proceedings of the IEEE Conference on Computer Vision & Pattern Recognition Workshops(CVPRW). San Francisco, CA, USA: IEEE, 2010: 9‐14.
14	SOSIAWAN A Y, NOORAENI R, SARI L K. Implementation of using HMM-GA in time series data[J]. Procedia Computer Science, 2021, 179: 713‐720.
15	BLEI D M, KUCUKELBIR A, MCAULIFFE J D. Variational inference: a review for statisticians[J]. Journal of the American Statistical Association, 2017, 112(518): 859‐877.

方法	准确率/%
BW算法	48.47
基于似然函数GA算法^［4］	58.87
基于MDL的GA算法	77.53
GA-BW算法^［5］	65.20
遗传非参数MDL-BW算法（本文）	82.40

方法	准确率/%
BW算法	48.47
基于似然函数GA算法^［4］	58.87
基于MDL的GA算法	77.53
GA-BW算法^［5］	65.20
遗传非参数MDL-BW算法（本文）	82.40

方法	状态数
方法	5	6	7	8	9
BW算法	73.00	74.80	78.20	80.60	79.00
基于似然函数GA算法^［4］	61.53	71.73	81.40	75.87	72.80
GA-BW算法^［5］	79.87	81.93	80.27	80.20	78.07

方法	状态数
方法	5	6	7	8	9
BW算法	73.00	74.80	78.20	80.60	79.00
基于似然函数GA算法^［4］	61.53	71.73	81.40	75.87	72.80
GA-BW算法^［5］	79.87	81.93	80.27	80.20	78.07

动作类别	状态数	高斯混合数	准确率/%
2	7	5	91.67
3	6	4	33.33
5	4	5	72.73
6	7	5	45.45
10	7	5	93.33
13	6	5	100.00
18	7	4	100.00
20	7	5	66.67

基于遗传非参数MDL-BW方法的HMM结构优化

HMM Structure Optimization Based on Genetic Nonparametric MDL-BW Method

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 15

相关文章 15

编辑推荐

Metrics

方法	状态数
方法	4	5	6	7	8
BW算法	73.58	70.75	66.98	66.98	71.70
基于似然函数GA算法^［4］	70.75	75.47	71.70	69.81	69.81
GA-BW算法^［5］	71.70	70.75	76.42	74.53	72.64

[1]	孟祥伟. 量化秩非参数CFAR检测器在杂波边缘中的性能分析[J]. 电子学报, 2020, 48(2): 384-389.
[2]	王乐乐, 眭泽智, 蒲志强, 刘振, 易建强. 一种改进RRT的多机器人编队路径规划算法[J]. 电子学报, 2020, 48(11): 2138-2145.
[3]	雷涛, 张肖, 加小红, 刘侍刚, 张艳宁. 基于模糊聚类的图像分割研究进展[J]. 电子学报, 2019, 47(8): 1776-1791.
[4]	胡园园, 罗倩, 段中钰, 王嘉浩. 基于部分平行ADMM求解谱寻求问题的时频分析[J]. 电子学报, 2019, 47(11): 2392-2398.
[5]	房丙午, 黄志球, 王勇, 李勇. 状态不可观测的信息物理融合系统运行时验证[J]. 电子学报, 2018, 46(12): 2824-2831.
[6]	王玉江, 王志斌, 陈媛媛, 宋雁鹏, 王芳, 薛鹏, 薛锐. AOTF-NIR宽带功率超声换能器阻抗匹配网络的设计与优化[J]. 电子学报, 2017, 45(5): 1057-1063.
[7]	汪成亮, 王小均. 基于三轴传感器的老年人日常活动识别[J]. 电子学报, 2017, 45(3): 570-576.
[8]	刘建伟, 黎海恩, 周佳佳, 罗雄麟. 概率图模型的表示理论综述[J]. 电子学报, 2016, 44(5): 1219-1226.
[9]	暴励. 一种思维进化蜂群算法[J]. 电子学报, 2015, 43(5): 948-955.
[10]	马卫, 孙正兴. 采用搜索趋化策略的布谷鸟全局优化算法[J]. 电子学报, 2015, 43(12): 2429-2439.
[11]	章登义, 欧阳黜霏, 吴文李. 基于N阶近邻路网的车辆行程时间估计模型[J]. 电子学报, 2015, 43(12): 2491-2496.
[12]	章登义, 欧阳黜霏, 吴文李. 针对时间序列多步预测的聚类隐马尔科夫模型[J]. 电子学报, 2014, 42(12): 2359-2364.
[13]	钟强晖, 张志华, 李大伟. 基于性能退化的电子产品筛选试验设计[J]. 电子学报, 2013, 41(9): 1788-1793.
[14]	周新宇, 吴志健, 王晖, 李康顺, 张浩宇. 一种精英反向学习的粒子群优化算法[J]. 电子学报, 2013, 41(8): 1647-1652.
[15]	刘闯, 韩敏, 邢军. 一种基于膜系统的全局智能优化算法[J]. 电子学报, 2013, 41(5): 871-877.