电子学报 ›› 2014, Vol. 42 ›› Issue (7): 1347-1352.DOI: 10.3969/j.issn.0372-2112.2014.07.015

• 学术论文 • 上一篇    下一篇

有限贝塔刘维尔混合模型的变分学习及其应用

赖裕平1, 丁洪伟2, 周亚建1, 郭玉翠3, 杨义先1   

  1. 1. 北京邮电大学计算机学院, 北京 100876;
    2. 云南大学信息学院, 云南昆明 650091;
    3. 北京邮电大学理学院, 北京 100876
  • 收稿日期:2013-06-28 修回日期:2014-03-31 出版日期:2014-07-25
    • 作者简介:
    • 赖裕平 男,1983年10月生于江西瑞金,北京邮电大学博士研究生,主要研究方向为模式识别、机器学习、非高斯统计模型、贝叶斯网络、图像分类.E-mail:Laiyp2009@126.com;丁洪伟 男,1964年5月生于云南景洪,云南大学信息学院副教授,博士研究生,主要研究方向为轮询系统、随机多址通信系统、优化算法研究.;周亚建 男,1971年生于陕西镇安.北京邮电大学副教授、硕士生导师,主要研究方向为移动通信、无线传感网络、信息安全等.;郭玉翠 女,1962年5月生,北京邮电大学理学院教授.研究方向为微分方程边值问题的分析与求解.;杨义先 男,1961年3月生,北京邮电大学计算机学院教授、博士生导师,长江学者,主要研究方向为现代密码基础理论,信息隐慝技术与理论.
    • 基金资助:
    • 国家自然科学基金 (No.61121061,No.60972077,No.61072079,No.61363085); 教育部博士点基金 (No.20120005110017); 国家863高技术研究发展计划 (No.2009AA01Z430)

Variational Learning for Finite Beta-Liouville Mixture Models and Its Application

LAI Yu-ping1, DING Hong-wei2, ZHOU Ya-jian1, GUO Yu-cui3, YANG Yi-xian1   

  1. 1. Information Security Center, Beijing University of Posts and Telecommunications, Beijing 100876, China;
    2. School of Information Science and Engineering, Yunnan University, Kunming, Yunnan 650091, China;
    3. School of Science, Beijing University of Posts and Telecommunications, Beijing 100876, China
  • Received:2013-06-28 Revised:2014-03-31 Online:2014-07-25 Published:2014-07-25
    • Supported by:
    • National Natural Science Foundation of China (No.61121061, No.60972077, No.61072079, No.61363085); Ph.D. Programs Foundation of Ministry of Education of China (No.20120005110017); National High-tech R&D Program of China  (863 Program) (No.2009AA01Z430)

摘要:

由于贝塔刘维尔分布的共轭先验分布中存在积分表达式,贝叶斯估计有限贝塔刘维尔混合模型参数异常困难.本文提出利用变分贝叶斯学习模型参数,采用gamma分布作为近似的先验分布并使用合理的非线性近似技术,得到了后验分布的近似解.与常用的EM算法相比,该方法能够同时估计模型参数和确定分量数,且避免了过拟合的问题.在合成数据集及场景分类问题上进行了大量的实验,实验结果验证了本文所提方法的有效性.

关键词: 有限混合模型, 贝塔刘维尔分布, 分解近似, 模型选择, 变分推断

Abstract:

Since the integration expression is present in the conjugate prior distribution,Bayesian estimation of the parameters in finite Beta-Liouville mixture models(BLM)is analytically intractable.In this paper,an approach based on the variational inference framework is proposed.Adopting gamma distributions to approximate the prior distributions of the parameter in BLM and using some reasonable non-linear approximations;the closed form solution for the posterior distribution of the parameters is obtained.Compared to the conventional expectation maximization(EM)algorithm,the proposed algorithm is able to simultaneously estimate the model parameters and determine the number of components;our method also avoids the problem of overfitting.Extensive experimental results based on the synthetic data sets and scenes classification show that the proposed method is efficient and feasible in terms of parameter estimation and model selection.

Key words: finite mixture models, Beta-Liouville distribution, factorized approximation, model selection, variational inference

中图分类号: