西安交通大学网络空间安全学院沈超教授课题组对机器学习模型安全研究现状展开了研究、分析与探讨，成果以“面向机器学习模型安全的测试与修复(The Testing and Repairing Methods for Machine Learning Model Security)”为题发表在电子学报。
近年，以各类机器学习模型为代表的人工智能技术的广泛应用为人们生活带来了巨大的便利，同时也给个人生命财产安全乃至国家安全带来了诸多风险与挑战。由于对机器学习模型的固有脆弱性及其黑箱特征行为的理解不足，研究人员很难提前识别或定位这些潜在的安全风险。研究机器学习模型安全的相关测试与修复方法，对深刻理解模型内部风险与脆弱性、全面保障机器学习系统安全性以及促进人工智能技术的广泛应用有着重要意义。为明确机器学习模型安全研究现状、推动模型安全测试与修复方法研究的进一步发展，本工作从不同安全测试属性出发，详细介绍了现有的机器学习模型安全测试和修复技术，总结和分析了现有研究中的不足，探讨了针对机器学习模型安全的测试与修复的技术进展和未来挑战。
本工作首先梳理了机器学习模型的组成结构。机器学习模型的工作流程可以分为数据、算法和实现三个阶段。首先，模型接收人工收集或算法生成的原始数据作为输入，并通过预处理算法（如数据增强和特征提取）对数据进行预处理。随后，模型定义神经元或层的架构，并通过运算符（例如卷积、池化）和算法设计构建计算图。最后，模型调用机器学习框架的函数功能实现计算图并执行计算，根据模型神经元的权重计算输入数据的预测结果。
随后，本工作基于上述模型阶段，总结了6种机器学习模型安全测试属性：
(1)正确性：衡量模型正确行使其功能、完成给定任务的能力。机器学习模型正确性问题会导致模型在特定输入下得到错误的判断结果。
(2)鲁棒性：衡量模型抵抗输入或者环境中的扰动并获取不受干扰影响的输出的能力。机器学习模型鲁棒性问题会导致模型在环境扰动影响下得到错误的、甚至特定的结果。
(3)公平性：衡量模型不受某些敏感且与任务无关的信息影响的能力。机器学习模型公平性问题会导致模型返回存在歧视与偏见的预测结果，并损害具有特定属性群体的权益。
(4)效率：衡量模型执行、完成指定任务的开销。机器学习模型效率问题会导致在特定情况下浪费大量的计算资源和时间。
(5)可解释性：衡量模型的决策可以被观察者理解的能力。机器学习模型可解释性问题会导致模型可能无法给出令人信服且公正的决策理由，从而降低模型结果的有效性与实际价值，影响人工智能技术的应用前景。
(6)隐私性：衡量机器学习模型保护私密数据、私密信息的能力。机器学习模型的隐私性问题会导致模型相关的私密数据、受保护的信息甚至模型算法被攻击者非法窃取，从而危害用户的隐私安全、财产安全等。
在此基础上，本工作分析、归纳和总结了机器学习模型不同阶段上各个测试属性相关的模型安全测试与修复方法与技术，并探讨了现有方法的局限。重点对机器学习模型正确性、鲁棒性、公平性三种安全测试属性在模型各个阶段的测试与修复技术进行了介绍与总结，并对效率、可解释性、隐私性三种相关研究较为有限的安全测试属性的技术进展进行了梳理。
沈超（通讯作者），博士，西安交通大学教授、博士生导师。主要研究领域为人工智能安全、软件安全测试、信息物理系统安全。
张笑宇（第一作者），西安交通大学网络空间安全学院博士研究生。主要研究领域为人工智能软件测试。
面向机器学习模型安全的测试与修复
张笑宇, 沈超, 蔺琛皓, 李前, 王骞, 李琦, 管晓宏
电子学报, 预发表
DOI：10.12263/DZXB.20220821
文章链接：https://www.ejournal.org.cn/article/2023/0372-2112/C220821.shtml
