具有间隔分布的抗噪声非平行支持向量机
Anti-Noise Nonparallel Support Vector Machine with Margin Distribution
- 电子学报 2023年51卷第7期 页码：1889-1897
- 作者机构：
辽宁科技大学电子与信息工程学院，辽宁鞍山 114051
- 作者简介：
[ "刘历铭 女，1994年6月出生，辽宁本溪人.2019年获得辽宁科技大学控制科学与工程硕士学位. 现为博士研究生，研究方向为模式识别和机器学习. E-mail: llm06101021@hotmail.com" ]
[ "李 平 男，1964年3月出生.湖南涟源人.1995年获得浙江大学工业自动化博士学位.现任辽宁科技大学电子与信息工程学院教授.研究方向为工业过程的先进控制和优化." ]
[ "储茂祥 男，1978年出生.安徽桐城人. 2015年获得东北大学的博士学位. 现为辽宁科技大学电子与信息工程学院的教授.研究方向包括模式识别、机器学习、图像处理和智能控制." ]
[ "蔡宏斌 男，1987年出生.辽宁铁岭人.2019年获得西北工业大学控制科学与工程博士学位.现任辽宁科技大学电子与信息工程学院讲师.研究方向为工业过程的先进控制和优化." ]
- 基金信息：国家自然科学基金(61673199);辽宁省自然科学基金(2022-MS-353);辽宁省高等学校基本科研资助项目(LJKMZ20220640);辽宁省科技厅博士启动基金(2021-BS-246);辽宁省教育厅自然科学青年基金(2020LNQN22)
DOI：10.12263/DZXB.20220268
中图分类号： TP18收稿：2022-03-14，
修回：2022-10-16，
纸质出版：2023-07-25
- 稿件说明：
移动端阅览
刘历铭,李平,储茂祥等.具有间隔分布的抗噪声非平行支持向量机[J].电子学报,2023,51(07):1889-1897.
LIU Li-ming,LI Ping,CHU Mao-xiang,et al.Anti-Noise Nonparallel Support Vector Machine with Margin Distribution[J].ACTA ELECTRONICA SINICA,2023,51(07):1889-1897.
刘历铭,李平,储茂祥等.具有间隔分布的抗噪声非平行支持向量机[J].电子学报,2023,51(07):1889-1897. DOI： 10.12263/DZXB.20220268.
LIU Li-ming,LI Ping,CHU Mao-xiang,et al.Anti-Noise Nonparallel Support Vector Machine with Margin Distribution[J].ACTA ELECTRONICA SINICA,2023,51(07):1889-1897. DOI： 10.12263/DZXB.20220268.
摘要
针对非平行支持向量机（NonParallel Support Vector Machine，NPSVM）对噪声敏感和忽略了数据分布结构的问题，提出了一种具有间隔分布的抗噪声非平行支持向量机 （Anti-Noise NPSVM with Margin Distribution， MD-ANPSVM） 分类模型.在MD-ANPSVM模型中，每个优化问题同时最小化两类样本的基于L1范数的绝对损失和改进的铰链损失，这可以保证模型的稳定性，减小噪声和异常值的影响.此外，在MD-ANPSVM模型中，采用一阶和二阶统计量来描述训练数据的间隔分布信息，并试图同时最大化间隔均值和最小化间隔方差，这进一步提高了模型的泛化性能.最终，我们在不同的数据集上进行了对比实验.实验结果显示，MD-ANPSVM模型具有较强的泛化能力和强鲁棒性.
Abstract
Because nonparallel support vector machine (NPSVM) is sensitive to noise and ignores the distributing structure of data
an anti-noise NPSVM with margin distribution (MD-ANPSVM) model is proposed. In MD-ANPSVM
each optimization problem simultaneously minimizes the L1-norm loss and improved hinge loss
which can ensure the stability of the model and reduce the adverse impact of noise and outliers. In addition
in MD-ANPSVM
the margin distribution described by the first- and second-order statistics is introduced. Each optimization problem simultaneously maximizes the margin mean and minimizes the margin variance
which results in better generalization performance. The experimental results on the UCI datasets and steel surface defects dataset show that MD-ANPSVM can achieve better generalization ability and strong robustness.
关键词
Keywords
references
VAPNIK V N . The Nature of Statistical Learning Theory [M]. Berlin : Springer Science & Business Media , 1999 .
DENG N , TIAN Y , ZHANG C . Support Vector Machines: Optimization Based Theory, Algorithms, and Extensions [M]. Boca Raton : CRC Press , 2012 .
KHEMCHANDANI R , CHANDRA S . Twin support vector machines for pattern classification [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence , 2007 , 29 ( 5 ): 905 - 910 .
DING S , HUA X , YU J . An overview on nonparallel hyperplane support vector machine algorithms [J]. Neural Computing and Applications , 2014 , 25 ( 5 ): 975 - 982 .
TIAN Y , QI Z , JU X , et al . Nonparallel support vector machines for pattern classification [J]. IEEE Transactions on Cybernetics , 2013 , 44 ( 7 ): 1067 - 1079 .
HUANG X , SHI L , SUYKENS J A K . Support vector machine classifier with pinball loss [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence , 2013 , 36 ( 5 ): 984 - 997 .
李凯 , 李慧 . 基于 pinball 损失的结构模糊孪生支持向量机 [J]. 电子学报 , 2019 , 47 ( 10 ): 2221 - 2227 .
LI Kai , LI Hui . Structural fuzzy twin support vector machine with pinball loss [J]. Acta Electronica Sinica , 2019 , 47 ( 10 ): 2221 - 2227 . (in Chinese)
YEUNG D S , WANG D , NG W W Y , et al . Structured large margin machines: Sensitive to data distributions [J]. Machine Learning , 2007 , 68 ( 2 ): 171 - 200 .
TANG L , TIAN Y , LI W , et al . Structural improved regular simplex support vector machine for multiclass classification [J]. Applied Soft Computing , 2020 , 91 : 106235 .
ZHANG T , ZHOU Z H . Large margin distribution machine [C]// Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining . NY : ACM , 2014 : 313 - 322 .
PENG X , XU D , KONG L , et al . L1-norm loss based twin support vector machine for data recognition [J]. Information Sciences , 2016 , 340 : 86 - 103 .
袁亚湘 , 孙文瑜 . 最优化理论与方法 [M]. 北京 : 科学出版社 , 1997 .
DENG N , TIAN Y , ZHANG C . Support Vector Machines: Optimization Based Theory, Algorithms, and Extensions [M]. Boca Raton : CRC Press , 2012 .
SCHOLKOPF B , SMOLA A J . Learning with Kernels: Support Vector Machines, Regularization, Optimization, and Beyond [M]. Cambridge : MIT Press , 2018 .
LIN C F , WANG S D . Fuzzy support vector machines [J]. IEEE Transactions on Neural Networks , 2002 , 13 ( 2 ): 464 - 471 .
DUA D , TANISKIDOU E K . UCI machine learning repository, 2017 [OL]. [ 2022-10-16 ]. http://archive.ics.uci.edu/ml/ http://archive.ics.uci.edu/ml/ .
The Math Works (MATLAB 2016 b), Inc [OL]. [2022-10-16] . http://www.mathworks.com http://www.mathworks.com .
DEMSAR J . Statistical comparisons of classifiers over multiple data sets [J]. The Journal of Machine Learning Research , 2006 , 7 : 1 - 30 .
HE Y , SONG K , MENG Q , et al . An end-to-end steel surface defect detection approach via fusing multiple hierarchical features [J]. IEEE Transactions on Instrumentation and Measurement , 2019 , 69 ( 4 ): 1493 - 1504 .
0
浏览量
10
下载量
0
CSCD
- 网络PDF下载
- Meta-XML下载
- BibTeX下载
- Endnote下载
- RefMan 下载
- NoteExpress下载
- NoteFirst下载
关联资源
相关文章
相关作者
相关机构
- 技术支持由北京北大方正电子有限公司提供 京ICP备09064830号-19
京公网安备11010802024621 - 本系统建议在Chrome、 IE9+ 以上版本浏览器阅读本站内容，360浏览器请切换至极速模式
- Cookies帮助我们提供服务并提供个性化体验。使用本网站，即表示您同意我们使用Cookies