具有合适拒识机制的高正确识别率分类器设计

doi:10.12263/DZXB.20190518

电子学报 ›› 2021, Vol. 49 ›› Issue (8): 1569-1576.DOI: 10.12263/DZXB.20190518

具有合适拒识机制的高正确识别率分类器设计

杨国为¹^,², 万鸣华²^,³, 赖志辉³, 张凡龙², 黄伟强⁴

^1.青岛大学电子信息学院，山东青岛 266071
^2.南京审计大学信息工程学院，江苏南京 211815
^3.深圳大学计算机与软件学院，广东深圳 518060
^4.香港理工大学，香港九龙 999077

收稿日期:2019-05-13 修回日期:2020-11-19 出版日期:2021-08-25 发布日期:2021-08-25
作者简介:杨国为男，1964年2月生，江西樟树人.教授、博士生导师、中国人工智能学会理事、中国电子学会高级会员. 1985年、1988年和2004年分别在江西师范大学、北京科技大学获理学学士、硕士和工学博士学位.现为青岛大学信号与信息处理研究所所长，主要从事模式识别、智能信息处理、智能控制等方面的研究工作. E-mail:ygw_ustb@163.com
万鸣华男，1978年3月生，江西南昌人.校聘教授、硕士生导师、中国计算机学会高级会员. 2003年、2007年和2011年分别在南昌航空大学、南京理工大学获工学学士、工学硕士和工学博士学位.现为南京审计大学软件工程系教师，主要从事模式识别、机器学习和特征提取等方面的研究工作. E-mail:wmh36@nau.edu.cn
赖志辉男，1979年6月生.博士、教授、博士生导师. 2002年在华南师范大学获学士学位，2007年在暨南大学获硕士学位，2011年在南京理工大学获博士学位. 2015年入选深圳市海外高层次人才“孔雀计划”，现任国际SCI期刊International Journal of Machine Learning and Cybernetics的编委.主要从事图像处理与模式识别、深度学习与大数据哈希学习等方面的研究工作.
张凡龙男，1985年9月生，山东泰安人. 2007年、2010年在聊城大学获理学学士、硕士学位，2015年在南京理工大学获工学博士学位.现为南京审计大学信息工程学院副教授、硕士生导师，主要从事图像处理、压缩感知和特征提取等方面的研究工作.
基金资助:
国家重点研发计划(2017YFC080-4000);国家自然科学基金面上项目(6177227);江苏省自然科学基金(BK20171494);江苏省高校自然科学重点项目(18KJA520005)

High Correct Recognition Rate Classifier Design with Appropriate Rejection Mechanism

Guo-wei YANG¹^,², Ming-hua WAN²^,³, Zhi-hui LAI³, Fan-long ZHANG², Wai-keung WONG⁴

^1.School of Electronic Information，Qingdao University，Qingdao，Shandong 266071，China
^2.School of Information Engineering，Nanjing Audit University，Nanjing，Jiangsu 211815，China
^3.School of Computer Science and Software Engineering，Shenzhen University，Shenzhen，Guangdong 518060，China
^4.Hong Kong Polytechnic University，Kowloon，Hong Kong 999077，China

Received:2019-05-13 Revised:2020-11-19 Online:2021-08-25 Published:2021-08-25

摘要/Abstract

摘要：

针对目前一些正确识别率高的SVM（Support Vector Machines）分类器、超球SVM分类器、深度学习分类器在一些典型样本集上应用时仍然有2%左右的错误识别率和增量学习功能不强的问题，本文提出了一种具有合适拒识机制的高正确识别率分类器设计方案和相应的增量学习算法，较好地解决了上述问题.主要工作包括：同类特征集合的紧密包裹集构造算法；基于同类特征集合和紧密包裹集的同类特征区域紧密包裹面的求解算法；设置所有紧密包裹面之外的公共区域为分类器的拒识区域的方法；当增加新类别、增减训练样本时，以上算法的增量学习算法.用uci数据集做对比实验表明，在拒识率小于1.3%的情况下，本文方法设计的分类器正确识别率大于99.13%.

关键词: 分类器, 模式识别, 支持向量机, 增量学习, 分类面, 包裹学习

Abstract:

At present, some SVM(Support Vector Machines) classifiers, hypersphere SVM classifier and deep learning classifier with high correct recognition rate still have about 2% false recognition rate and weak incremental learning function. In this paper, a high correct recognition rate classifier designed with appropriate rejection mechanism and incremental learning algorithm is proposed to solve the above problems. The main work include: the construction algorithm of compact packing set of homogeneous feature set; the algorithm for solving the compact packing surface of homogeneous feature region based on homogeneous feature set and compact packing set; the method of setting all the public areas outside the compact packing surface as the rejection area of the classifier; when adding new categories, increasing or decreasing training samples, the above algorithms are incremental learning algorithms. A comparison experiment with uci data sets shows that the correct recognition rate of the classifier is greater than 99.13%, when the rejection rate is less than 1.3%.

Key words: classifier, pattern recognition, support vector machine, incremental learning, classification surface, wrapping learning

中图分类号:

杨国为, 万鸣华, 赖志辉, 张凡龙, 黄伟强. 具有合适拒识机制的高正确识别率分类器设计[J]. 电子学报, 2021, 49(8): 1569-1576.

Guo-wei YANG, Ming-hua WAN, Zhi-hui LAI, Fan-long ZHANG, Wai-keung WONG. High Correct Recognition Rate Classifier Design with Appropriate Rejection Mechanism[J]. Acta Electronica Sinica, 2021, 49(8): 1569-1576.

图/表 6

参考文献 20

1	王守觉. 仿生模式识别(拓扑模式识别): 一种模式识别新模型的理论与应用[J]. 电子学报, 2002, 30(10): 1417－1420.
	Wang S J. Bionic (topological) pattern recognition—A new model of pattern recognition theory and its applications[J]. Acta Electronica Sinica, 2002, 30(10): 1417－1420. (in Chinese)
2	周志华. 机器学习[M]. 北京: 清华大学出版社, 2016.
	Zhou Z H. Machine Learning[M]. Beijing, China: Tsinghua University Press, 2016. (in Chinese)
3	Vapnik V N. The Nature of Statistical Learning Theory[M]. New York, NY, USA: Springer New York, 1995.
4	Tang F Z, Adam L, Si B L. Group feature selection with multiclass support vector machine[J]. Neurocomputing, 2018, 317(23): 42－49.
5	Tian Y J, Qi Z Q, Ju X C, et al. Nonparallel support vector machines for pattern classification[J]. IEEE Transactions on Cybernetics, 2014, 44(7): 1067－1079.
6	Ding L Z, Liao S Z. An approximate approach to automatic kernel selection[J]. IEEE Transactions on Cybernetics, 2017, 47(3): 554－565.
7	Cano A, Zafra A, Ventura S. Weighted data gravitation classification for standard and imbalanced data[J]. IEEE Transactions on Cybernetics, 2013, 43(6): 1672－1687.
8	Jayadeva, Khemchandani R, Chandra S. Twin support vector machines for pattern classification[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 29(5): 905－910.
9	Xu Y T, Yang Z J, Pan X L. A novel twin support-vector machine with pinball loss[J]. IEEE Transactions on Neural Networks and Learning Systems, 2017, 28(2): 359－370.
10	Wu M R, Ye J P. A small sphere and large margin approach for novelty detection using training data with outliers[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(11): 2088－2092.
11	Xu Y T, Liu C M. A rough margin-based one class support vector machine[J]. Neural Computing and Applications, 2013, 22(6): 1077－1084.
12	Chorowski J, Wang J, Zurada J M. Review and performance comparison of SVM- and ELM-based classifiers[J]. Neurocomputing, 2014, 128: 507－516.
13	Xu Y T, Yang Z J, Zhang Y Q, et al. A maximum margin and minimum volume hyper-spheres machine with pinball loss for imbalanced data classification[J]. Knowledge-Based Systems, 2016, 95: 75－85.
14	Xu Y T. Maximum margin of twin spheres support vector machine for imbalanced data classification[J]. IEEE Transactions on Cybernetics, 2017, 47(6): 1540－1550.
15	LeCun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436－444.
16	Shi C M, Panoutsos G, Luo B, et al. Using multiple-feature-spaces-based deep learning for tool condition monitoring in ultraprecision manufacturing[J]. IEEE Transactions on Industrial Electronics, 2019, 66(5): 3794－3803.
17	Tsygvintsev A. On the overfly algorithm in deep learning of neural networks[J]. Applied Mathematics and Computation, 2019, 349: 348－358.
18	Alharbi A, Doncker E D. Twitter sentiment analysis with a deep neural network: An enhanced approach using user behavioral information[J]. Cognitive Systems Research, 2019, 54: 50－61.
19	Young T, Hazarika D, Poria S, et al. Recent trends in deep learning based natural language processing[J]. IEEE Computational Intelligence Magazine, 2018, 13(3): 55－75.
20	舒坚, 张学佩, 刘琳岚, 等. 基于深度卷积神经网络的多节点间链路预测方法[J]. 电子学报, 2018, 46(12): 2970－2977.
	Shu J, Zhang X P, Liu L L, et al. Multi-nodes link prediction method based on deep convolution neural networks[J]. Acta Electronica Sinica, 2018, 46(12): 2970－2977. (in Chinese)

Dataset	pos	neg	m₁	m₂	d
Iris	50	100	45	90	4
Wine	59	119	53	107	13
Blood	570	178	487	15	4
Cancer	444	239	398	12	9

Dataset	pos	neg	m₁	m₂	d
Iris	50	100	45	90	4
Wine	59	119	53	107	13
Blood	570	178	487	15	4
Cancer	444	239	398	12	9

Dataset	SVM	SVDD	SSLM	深层感知网络	包裹学习（不设置拒识区域）	包裹学习（设置拒识区域）
Dataset	SVM	SVDD	SSLM	深层感知网络	包裹学习（不设置拒识区域）	正确识别率	拒识率
Iris	96.3%	96.5%	98.2%	98.8%	98.5%	优化致密参数后100%	优化致密参数后1.3%
Iris	96.3%	96.5%	98.2%	98.8%	98.5%	优化致密参数前99.3%	优化致密参数前1.2%
Wine	93.75%	95.34%	97.1%	98.3%	97.7%	优化致密参数后100%	优化致密参数后2.1%
Wine	93.75%	95.34%	97.1%	98.3%	97.7%	优化致密参数前99.1%	优化致密参数前1.9%
Blood	68.67%	71.12%	71.33%	77.25%	72.67%	优化致密参数后99.32%	优化致密参数后2.3%
Blood	68.67%	71.12%	71.33%	77.25%	72.67%	优化致密参数前99.1%	优化致密参数前1.9%
Blood	68.67%	71.12%	71.33%	77.25%	72.67%	优化致密参数后99.32%	优化致密参数后2.3%
Blood	68.67%	71.12%	71.33%	77.25%	72.67%	优化致密参数前99.15%	优化致密参数前2.1%
Cancer	94.75%	93.78%	95.25%	98.54%	97.45%	优化致密参数后99.15%	优化致密参数后1.8%
Cancer	94.75%	93.78%	95.25%	98.54%	97.45%	优化致密参数前99.1%	优化致密参数前1.7%

Dataset	SVM	SVDD	SSLM	深层感知网络	包裹学习（不设置拒识区域）	包裹学习（设置拒识区域）
Dataset	SVM	SVDD	SSLM	深层感知网络	包裹学习（不设置拒识区域）	正确识别率	拒识率
Iris	96.3%	96.5%	98.2%	98.8%	98.5%	优化致密参数后100%	优化致密参数后1.3%
Iris	96.3%	96.5%	98.2%	98.8%	98.5%	优化致密参数前99.3%	优化致密参数前1.2%
Wine	93.75%	95.34%	97.1%	98.3%	97.7%	优化致密参数后100%	优化致密参数后2.1%
Wine	93.75%	95.34%	97.1%	98.3%	97.7%	优化致密参数前99.1%	优化致密参数前1.9%
Blood	68.67%	71.12%	71.33%	77.25%	72.67%	优化致密参数后99.32%	优化致密参数后2.3%
Blood	68.67%	71.12%	71.33%	77.25%	72.67%	优化致密参数前99.1%	优化致密参数前1.9%
Blood	68.67%	71.12%	71.33%	77.25%	72.67%	优化致密参数后99.32%	优化致密参数后2.3%
Blood	68.67%	71.12%	71.33%	77.25%	72.67%	优化致密参数前99.15%	优化致密参数前2.1%
Cancer	94.75%	93.78%	95.25%	98.54%	97.45%	优化致密参数后99.15%	优化致密参数后1.8%
Cancer	94.75%	93.78%	95.25%	98.54%	97.45%	优化致密参数前99.1%	优化致密参数前1.7%

[1]	罗忠涛, 夏杭, 卢琨, 何子述. 超视距雷达中距离-多普勒图的瞬态干扰自动识别方法[J]. 电子学报, 2021, 49(7): 1279-1285.
[2]	钱忠胜, 俞情媛, 宋涛, 朱懿敏, 祝洁, 赵畅. 基于支持向量机回归模型的测试用例生成与重用[J]. 电子学报, 2021, 49(7): 1386-1391.
[3]	张芳鑫, 王法松, 李睿, 左婷. GSSK‑VLC系统中基于SVM的LED选择算法[J]. 电子学报, 2021, 49(7): 1400-1405.
[4]	刘芳, 韩笑. 基于小波变换和深度网络的着陆地貌图像分类[J]. 电子学报, 2021, 49(11): 2171-2176.
[5]	史先进, 曹爽, 张重生, 陶月锋, 吕灵灵, 沈夏炯. 基于锚点的字符级甲骨图像自动标注算法研究[J]. 电子学报, 2021, 49(10): 2020-2031.
[6]	王丽, 杜鹏程, 许一鸣, 李必信. 基于分层架构模式识别的软件架构重构技术[J]. 电子学报, 2021, 49(1): 201-208.
[7]	史聪伟, 赵杰煜, 陈瑜. 利用网格卷积特征的三维形变目标分类[J]. 电子学报, 2020, 48(4): 648-653.
[8]	杨虹, 张雅声, 徐灿. 基于trace特征的ISAR像空间目标识别[J]. 电子学报, 2020, 48(3): 431-441.
[9]	张学军, 景鹏, 何涛, 孙知信. 基于变分模态分解的癫痫脑电信号分类方法[J]. 电子学报, 2020, 48(12): 2469-2475.
[10]	方佳艳, 刘峤. 具有同步化特征选择的迭代紧凑非平行支持向量聚类算法[J]. 电子学报, 2020, 48(1): 44-58.
[11]	周国华, 卢剑炜, 顾晓清, 殷新春. 基于简约凸壳的一类模糊支持向量机[J]. 电子学报, 2019, 47(8): 1708-1716.
[12]	李宏菲, 李庆, 周莉. 基于多视觉描述子及音频特征的动态序列人脸表情识别[J]. 电子学报, 2019, 47(8): 1643-1653.
[13]	王玲, 徐培培. 基于自适应增量学习的时间序列模糊聚类算法[J]. 电子学报, 2019, 47(5): 983-991.
[14]	郑威迪, 李志刚, 贾涵中, 高闯. 基于改进型鲸鱼优化算法和最小二乘支持向量机的炼钢终点预测模型研究[J]. 电子学报, 2019, 47(3): 700-706.
[15]	刘颖, 胡丹, 范九伦, 王富平, 李大湘. 基于融合特征的现勘图像检索结果优化算法[J]. 电子学报, 2019, 47(2): 296-301.

具有合适拒识机制的高正确识别率分类器设计

High Correct Recognition Rate Classifier Design with Appropriate Rejection Mechanism

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 6

参考文献 20

相关文章 15

编辑推荐

Metrics

Dataset	v	v₁	v₂
Iris	10	0.1	0.1
Wine	10	0.1	0.1
Blood	50	0.1	0.1
Cancer	30	0.1	0.01

Dataset	v	v₁	v₂
Iris	10	0.1	0.1
Wine	10	0.1	0.1
Blood	50	0.1	0.1
Cancer	30	0.1	0.01