面向机器学习模型安全的测试与修复
|
|
张笑宇, 沈超, 蔺琛皓, 李前, 王骞, 李琦, 管晓宏
|
The Testing and Repairing Methods for Machine Learning Model Security
|
|
ZHANG Xiao-yu, SHEN Chao, LIN Chen-hao, LI Qian, WANG Qian, LI Qi, GUAN Xiao-hong
|
|
表5 模型实现测试典型技术对比总结
|
| |
|
| 功能描述 | 方法类别 | 测试框架 | 方法描述 | 效果 | 相关工作 |
|---|
实现正确性 测评 | 实现差异测试 | TenorFlow\CNTK\Theano | 对比框架同一功能在输入下的输出差异 | 弱 | 文献[52] | | TenorFlow\CNTK\Theano | 基于模糊测试生成不同的模型以探索框架 | 弱 | 文献[212] | | TensorFlow\PyTorch | 构造等效图对同一功能实现进行对比 | 强 | 文献[53] | | 实现蜕变测试 | Weka\C4.5等 | 检查蜕变关系执行前后一致并自动化测试 | 弱 | 文献[213] | | Scikit-learn\TensorFlow | 基于增减数据等蜕变关系测试框架实现 | 弱 | 文献[214] | | 测试样本生成方法 | TensorFlow\Keras | 基于模型突变测试的方法检测实现问题 | 弱 | 文献[215] | | TensorFlow\PyTorch\MXNet | 自动化提取框架功能约束并生成样例 | 强 | 文献[216] | | 框架漏洞研究 | TensorFlow\Torch等 | 调研开源社区上的机器学习框架漏洞特性 | 弱 | 文献[210] | | 框架底层库测试 | TVM | 覆盖度指导变异低级中间表示以模糊测试 | 强 | 文献[217] | | TensorFlow | 对算子误差进行了计算评估并与实际对比 | 强 | 文献[54] | 实现效率 测评 | 效率问题实证研究 | TensorFlow\Caffe\Torch | 实证研究不同框架上训练时间等性能差异 | 弱 | 文献[218] | | TensorFlow\CNTK\PyTorch\MXNet | 测试部署环境迁移对实现的性能影响 | 弱 | 文献[48] |
|
|
|