电子学报 ›› 2017, Vol. 45 ›› Issue (10): 2390-2401.DOI: 10.3969/j.issn.0372-2112.2017.10.012

• 学术论文 • 上一篇    下一篇

卷积自编码器中粗粒度池化特征提取研究

罗畅1, 王洁1, 王鹏飞1, 肖军1, 肖红2   

  1. 1. 空军工程大学防空反导学院, 陕西西安 710051;
    2. 94691部队, 福建连城 366202
  • 收稿日期:2016-03-29 修回日期:2016-08-28 出版日期:2017-10-25
    • 作者简介:
    • 罗畅,男.1988年8月出生,四川广安人.分别于2011年和2013年在空军工程大学获工学学士和工学硕士学位.现为空军工程大学防空反导学院博士研究生,研究方向为非监督特征提取、遥感图像处理.E-mail:luochang1988@126.com;王洁,女.1963年11月出生,陕西渭南人.1984年、1991年和2004年分别在西安工业大学、北京理工大学和空军工程大学获工学学士、工学硕士和工学博士学位.现为空军工程大学防空反导学院教授、博士生导师,研究方向为智能控制与决策、遥感图像处理、自主目标识别.E-mail:wjlc123@sina.com
    • 基金资助:
    • 国家自然科学基金 (No.71501184)

Coarse-Grained Pooled Features Learning in Convolutional Autoencoders

LUO Chang1, WANG Jie1, WANG Peng-fei1, XIAO Jun1, XIAO Hong2   

  1. 1. Air and Missile Defense College, Air Force Engineering University, Xi'an, Shaanxi 710051, China;
    2. Unit 94691 PLA, Liancheng, Fujian 366202, China
  • Received:2016-03-29 Revised:2016-08-28 Online:2017-10-25 Published:2017-10-25
    • Supported by:
    • National Natural Science Foundation of China (No.71501184)

摘要: 卷积自编码器(Convolutional Auto Encoder,CAE)提取的粗粒度池化特征具有一定范围内旋转和平移的不变性,因而得到广泛使用.然而,目前CAE仍主要依靠经验调节内部参数以获取满足要求的粗粒度池化特征.本文将CAE看作一个整体,从概率上分析了影响其表现的具体原因,构建了一个通用框架用于调节其中的主要参数以获取更好的粗粒度特征.首先从概率上权衡了粗粒度特征在池化层上的判别性与不变性,并在CAE中选择合适的卷积范围和白化参数.然后通过分析池化域内特征的稀疏度选择相应的池化方法以获取具有更好可分离性的粗粒度池化特征.在两个公开数据库(STL-10和CIFAR-10)的实验结果表明本文提出的方法可以指导CAE提取到更好的粗粒度池化特征并在多类分类任务中表现得更好.

关键词: 粗粒度特征, 池化, 卷积自编码器, 非监督学习, 深度学习

Abstract: Coarse-grained pooled features obtained from convolutional autoencoder (CAE) achieve scale and shift invariances and have been widely used recently.However,in most previous works coarse-grained pooled features are obtained by empirically modulating parameters in CAE.In this paper,we see the CAE as a whole,find the probabilistic factors affecting the performance of it,and formulate a general framework to regulate parameters in it to obtain better coarse-grained representation.Firstly,the discrimination-invariance tradeoff of coarse-grained features is probabilistically evaluated in the pooled feature maps.Furthermore,the proper convolved filter scales and appropriate whitening parameters are suggested in a CAE.Secondly,pooling approaches are combined with the sparsity degree in pooling regions,and we propose the preferable pooling approach in different cases.Experimental results on two independent benchmark datasets (STL-10 and CIFAR-10) demonstrate that our framework can guide CAEs to extract better coarse-grained pooled features and performs better in multi-class classification task.

Key words: coarse-grained features, pooling, convolutional autoencoder, unsupervised learning, deep learning

中图分类号: