面向机器学习模型安全的测试与修复
|
张笑宇, 沈超, 蔺琛皓, 李前, 王骞, 李琦, 管晓宏
|
The Testing and Repairing Methods for Machine Learning Model Security
|
ZHANG Xiao-yu, SHEN Chao, LIN Chen-hao, LI Qian, WANG Qian, LI Qi, GUAN Xiao-hong
|
|
表3 模型数据测试与修复典型技术对比总结
|
|
|
功能描述 | 方法类别 | 应用领域 | 方法描述 | 效果 | 相关工作 |
---|
数据鲁棒性测评 | 对抗输入生成 | 图像/文本/音频 | 生成对抗样本直接测试模型 | 弱 | 文献[57]等 | 图像/文本/音频 | 构建对抗输入生成库测试模型鲁棒性 | 强 | 文献[58]等 | 数据鲁棒性修复 | 随机化 | 图像 | 随机化变换调整输入数据 | 弱 | 文献[59] | 图像/数值数据 | 利用张量衰减调整模型内数据特征 | 强 | 文献[60] | 去噪 | 图像 | 压缩图像对输入数据进行去噪 | 弱 | 文献[61] | 图像 | 利用特征压缩的方法对数据去噪 | 强 | 文献[62] | 对抗输入检测 | 图像 | 基于模型变异检测对变异敏感的对抗样本 | 弱 | 文献[63] | 图像 | 评估数据的鲁棒性来区分对抗样本 | 弱 | 文献[64] | 数据公平性测评 | 数据偏差测试 | 数值数据 | 无监督聚类采样检测数据的类不平衡 | 弱 | 文献[65] | 图像 | 使用自动编码器学习数据特征并检测偏差 | 强 | 文献[66] | 数值数据 | 检测数据分布与特征的倾斜问题 | 弱 | 文献[67] | 数据公平性修复 | 数据集修正 | 主要为数值数据 | 修复数据集标签或内容 | 强 | 文献[68]等 | 良性数据生成 | 图像 | 生成非歧视性数据以解决训练数据不均衡 | 强 | 文献[69] | 文本 | 构造良性数据集训练或微调模型 | 强 | 文献[70] | 修复框架与工具 | 数值数据 | 自动化诊断与修复框架 | 弱 | 文献[71] | 数据正确性测评 | 异常数据检测工具 | 数值数据 | 检查数据示例并识别特定模式的潜在问题 | 弱 | 文献[72] | 主要为数值数据 | 自动化异常数据检测方法搜索框架 | 强 | 文献[73] | 图像 | 分析特征空间以识别异常数据并进行过滤 | 弱 | 文献[74] | 数据正确性修复 | 数据清理工具 | 图像 | 基于自动编码器对存在噪声数据进行清理 | 强 | 文献[75] | 图像/文本 | 加入数据检测以在模型计算前剔除异常值 | 强 | 文献[76] | 主要为数值数据 | 自动化搜索数据清理方法并清理异常数据 | 强 | 文献[73] | 数据隐私性测评 | 私密信息窃取 | 主要为数值数据 | 构造私密数据窃取攻击以测试模型隐私性 | 弱 | 文献[77]等 | 数据隐私性修复 | 基于差分隐私的数据隐私保护 | 图像 | 训练多个教师模型并聚合预测结果 | 强 | 文献[78] | 基于安全多方计算的数据隐私保护 | 图像/数值数据 | 基于安全多方计算协议交互私密数据 | 强 | 文献[79]等 | 基于联邦学习的数据隐私保护 | 图像/数值数据 | 通过安全聚合等方法构建联邦学习训练模型 | 强 | 文献[80]等 |
|
|
|