电子学报

• 科研通信 • 上一篇    下一篇

基于潜在主题融合的跨媒体图像语义标注

刘杰1,2, 杜军平1   

  1. 1. 北京邮电大学计算机学院, 北京 100876;
    2. 中国电子科技集团公司第三十研究所, 四川成都 610041
  • 收稿日期:2013-01-07 修回日期:2013-06-17 出版日期:2014-05-25
    • 通讯作者:
    • 杜军平
    • 作者简介:
    • 刘 杰 男,1984年出生,博士,工程师,中国电子科技集团公司第三十研究所,主要研究方向:智能信息处理、机器学习、网络通信. E-mail:sleetext2@163.com
    • 基金资助:
    • 国家973重点基础研究发展计划 (No.2012CB821200,No.2012CB821206); 国家自然科学基金 (No.61320106006)

Latent Topic Fusion-Based Cross-Media Image Semantic Annotation

LIU Jie1,2, DU Jun-ping1   

  1. 1. School of Computer, Beijing University of Posts and Telecommunications, Beijing 100876, China;
    2. No.30 Institute of China Electronics Technology Group Corporation, Chengdu, Sichuan 610041, China
  • Received:2013-01-07 Revised:2013-06-17 Online:2014-05-25 Published:2014-05-25
    • Supported by:
    • National Program on Key Basic Research Project of China  (973 Program) (No.2012CB821200, No.2012CB821206); National Natural Science Foundation of China (No.61320106006)

摘要: 图像语义标注是图像语义分析研究中的一个重要问题.在主题模型的基础上,本文提出一种新颖的跨媒体图像标注方法来进行图像间语义的传播.首先,对训练图像使用主题模型,抽取视觉模态和文本模态信息的潜在语义主题.然后,通过使用一个权重参数来融合两种模态信息的主题分布,从而学习到一种融合主题分布.最后,在融合主题分布的基础上训练一个标注模型来给目标图像赋予合适的语义信息.在标准的MSRC和Corel5K数据集上将提出的方法与最近著名的标注方法进行比较实验.标注性能的详细评价结果表明提出方法的有效性.

关键词: 图像语义标注, 跨媒体, 主题模型, 加权融合

Abstract: Image semantic annotation is an important issue in image semantic analysis research.Based on the topic model,this paper proposes a novel cross-media image annotation approach for propagating the semantics among images.First,the topic model is used to capture the latent semantic topics from the visual and textual modal information in the training images.Then,a fused topic distribution is learned by merging the topic distribution of each modality using a weight parameter.Finally,an annotation model based on the fused topic distribution is trained to assign the target images using appropriate semantics.A comparison of the proposed approach with the recent state-of-the-art annotation approaches on the standard MSRC and Corel5K datasets is presented,and a detailed evaluation of the performance shows the validity of our approach.

Key words: image semantic annotation, cross media, topic model, topic-weighted fusion

中图分类号: