基于重要特征的视觉目标跟踪可迁移黑盒攻击方法

doi:10.12263/DZXB.20220057

电子学报

• •

基于重要特征的视觉目标跟踪可迁移黑盒攻击方法

姚睿¹^,²^,³, 朱享彬¹^,², 周勇¹^,², 王鹏³^,⁴, 张艳宁³^,⁴, 赵佳琦¹^,²

^1.中国矿业大学计算机科学与技术学院, 江苏徐州 221116
^2.矿山数字化教育部工程研究中心, 江苏徐州 221116
^3.空天地海一体化大数据应用技术国家工程实验室, 陕西西安 710129
^4.西北工业大学计算机学院, 陕西西安 710129

收稿日期:2022-01-10 修回日期:2022-07-07 出版日期:2023-03-13
- 作者简介:
- 姚睿男，1982年出生，河南南阳人.现为中国矿业大学计算机科学与技术学院教授、博士生导师.主要研究方向为计算机视觉、机器学习.E-mail: ruiyao@cumt.edu.cn
  朱享彬男，1997年出生，江西赣州人.现为中国矿业大学计算机科学与技术学院硕士研究生.主要研究方向为计算机视觉、机器学习. E-mail: TS20170131P31@cumt.edu.cn
  周勇男，1974年出生，江苏徐州人.现为中国矿业大学计算机科学与技术学院教授、博士生导师.主要研究方向为机器学习、数据挖掘.E-mail: yzhou@cumt.edu.cn
- 基金资助:
- 国家自然科学基金(62172417);江苏省自然科学基金(BK20201346)

Transferable Black Box Attack on Visual Object Tracking Based on Important Features

YAO Rui¹^,²^,³, ZHU Xiang-bin¹^,², ZHOU Yong¹^,², WANG Peng³^,⁴, ZHANG Yan-ning³^,⁴, ZHAO Jia-qi¹^,²

^1.School of Computer Science and Technology，China University of Mining and Technology，Xuzhou，Jiangsu 221116，China
^2.Ministry of Education Engineering Research Center of Mine Digitization，Xuzhou，Jiangsu 221116，China
^3.National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology，Xi’an，Shaanxi 710129，China
^4.School of Computer Science，Northwestern Polytechnical University，Xi’an，Shaanxi 710129，China

Received:2022-01-10 Revised:2022-07-07 Online:2023-03-13
- Supported by:
- National Natural Science Foundation of China(62172417);Natural Science Foundation of Jiangsu Province(BK20201346)

摘要/Abstract

摘要：

针对目标跟踪的黑盒攻击受到越来越多的关注，来对目标跟踪器的稳健性进行评估.目前大部分的研究都是基于查询的黑盒攻击，尽管取得较好的攻击效果，但在实际应用中往往不能获取大量的查询以进行攻击.本文提出一种基于迁移的黑盒攻击方法，通过对特征中与跟踪目标高度相关而不受源模型影响的重要特征进行攻击，将其重要程度降低，同时增强不重要的特征以实现具有可迁移性的攻击；即通过反向传播获得的所对应的梯度来体现其特征的重要程度，随后通过梯度得到的加权特征以进行攻击.此外，本文使用视频相邻两帧之间相似这一时序信息，提出基于时序感知的特征相似性攻击方法，通过减小相邻帧之间的特征相似度以进行攻击.本文在目前主流的深度学习目标跟踪器上评估了提出的攻击方法，在多个数据集上的实验结果证明了本文方法的有效性及强可迁移性，在OTB数据集中，SiamRPN跟踪模型被攻击后跟踪成功率以及精确度分别下降了71.5%、79.9%.

关键词: 对抗攻击, 视觉目标跟踪, 黑盒攻击, 可迁移性, 重要特征, 特征相似性

Abstract:

Black-box attacks against object tracking are receiving more and more attention to evaluate the robustness of object trackers. Most of the current researches are based on query-based black-box attacks. Although great attack effects are achieved, a large number of queries cannot be obtained for attack in practical application. We propose a transfer based black-box attack method, which attacks the important features in the features that are highly related to the tracking target and are not affected by the source model, reduces their importance, and enhances the unimportant features to realize the transferable attack. Specifically, the corresponding gradient is obtained by back propagation to reflect the importance of its features, and then the weighted feature obtained by the gradient is used to attack. In addition, this paper uses the temporal information of similarity between adjacent video frames to propose a sequential-aware feature similarity attack method to attack the object tracker by reducing the feature similarity between adjacent frames. This paper evaluates the proposed attack method on the current mainstream deep learning target tracker. The experimental results on multiple datasets prove the effectiveness and strong mobility of this method. In OTB benchmark, the tracking success rate and accuracy of SiamRPN tracking model are reduced by 71.5% and 79.9% respectively.

Key words: adversarial attack, visual object tracking, black box attack, transferability, important features, feature similarity

中图分类号:

TP391.4

姚睿, 朱享彬, 周勇, 等. 基于重要特征的视觉目标跟踪可迁移黑盒攻击方法[J]. 电子学报, DOI: 10.12263/DZXB.20220057.

Rui YAO, Xiang-bin ZHU, Yong ZHOU, et al. Transferable Black Box Attack on Visual Object Tracking Based on Important Features[J]. Acta Electronica Sinica, DOI: 10.12263/DZXB.20220057.

图/表 11

图1 在VOT2018数据集中,本文方法在SiamRPN++跟踪器上的可视化跟踪结果

图2 基于Siamese深度学习跟踪器攻击模型示意图

图3 梯度强度可视化图.所提取的图像特征相对应的梯度的可视化

图4 生成重要特征损失函数以及特征相似损失函数的整体流程示意图

表1 在OTB100中在SiamRPN++，SiamRPN以及SiamFC的攻击结果

跟踪器	成功率			准确率
跟踪器	原始	随机扰动	本文方法	原始	随机扰动	本文方法
SiamFC	0.575	0.526	0.164	0.776	0.702	0.164
SiamRPN	0.636	0.593	0.181	0.847	0.787	0.170
SiamRPN++	0.692	0.661	0.565	0.906	0.818	0.748
DiMP	0.671	0.659	0.583	0.869	0.860	0.762
LTMU	0.672	0.622	0.503	0.872	0.815	0.703

表2 在VOT2016数据集中在SiamRPN++，SiamRPN的攻击结果.加粗字体表示每个评估指标的最优值.

跟踪器	正确率			稳健性			失败数			平均重叠期望
跟踪器	原始	IoU攻击	本文攻击	原始	IoU攻击	本文攻击	原始	IoU攻击	本文攻击	原始	IoU攻击	本文攻击
SiamRPN	0.618	0.581	0.573	0.238	0.569	0.573	51	122	123	0.393	0.235	0.223
SiamRPN++	0.642	0.605	0.594	0.196	0.802	0.61	42.0	172	131	0.464	0.183	0.252
DiMP	0.599	0.536	0.521	0.140	0.374	0.381	30	80	92	0.449	0.256	0.239
LTMU	0.661	0.604	0.598	0.522	0.904	0.827	112	194	165	0.236	0.170	0.174

表3 在VOT2018数据集中在SiamRPN++，SiamRPN的攻击结果.加粗字体表示每个评估指标的最优值

跟踪器	正确率			稳健性			失败数			平均重叠期望
跟踪器	原始	IoU攻击	本文攻击	原始	IoU攻击	本文攻击	原始	IoU攻击	本文攻击	原始	IoU攻击	本文攻击
SiamRPN	0.576	0.538	0.525	0.314	0.823	0.824	66	173	173	0.329	0.163	0.158
SiamRPN++	0.596	0.568	0.553	0.271	1.171	1.228	57	250	267	0.370	0.129	0.135
DiMP	0.574	0.507	0.489	0.145	0.400	0.457	31	43	56	0.427	0.248	0.241
LTMU	0.624	0.590	0.572	0.702	1.320	1.187	150	282	238	0.195	0.120	0.126

表4 在VOT2019数据集中在SiamRPN++，SiamRPN的攻击结果.加粗字体表示每个评估指标的最优值.

跟踪器	正确率			稳健性			失败数			平均重叠期望
跟踪器	原始	IoU攻击	本文攻击	原始	IoU攻击	本文攻击	原始	IoU攻击	本文攻击	原始	IoU攻击	本文攻击
SiamRPN	0.572	0.548	0.527	0.577	1.154	1.143	113	226	224	0.248	0.160	0.175
SiamRPN++	0.589	0.575	0.552	0.510	1.575	1.398	100	314	252	0.266	0.124	0.161
DiMP	0.568	0.474	0.462	0.277	0.641	0.655	55	127	112	0.332	0.195	0.193
LTMU	0.625	0.576	0.558	0.913	1.470	1.237	182	293	264	0.201	0.150	0.159

表5 在OTB100数据集上，有无重要特征下降方法和特征相似下降方法实施在跟踪器SiamRPN++的攻击结果

梯度感知的重要特征攻击方法	时序感知的特征相似性攻击方法	成功率	准确率
×	×	0.692	0.906
√	×	0.571	0.752
×	√	0.582	0.771
√	√	0.565	0.748

表6 在OTB100数据集上，不同权重比例的重要特征损失函数和特征相似损失函数的攻击实施在SiamRPN++跟踪器的攻击结果

$α 1$	$α 2$	成功率	准确率	$α 1$	$α 2$	成功率	准确率	$α 1$	$α 2$	成功率	准确率
100	0.000 1	0.565	0.748	10	0.000 1	0.572	0.755	1	0.000 1	0.577	0.765
100	0.001	0.573	0.757	10	0.001	0.575	0.763	1	0.001	0.581	0.772
100	0.01	0.576	0.765	10	0.01	0.580	0.771	1	0.01	0.583	0.776
100	1	0.578	0.766	10	1	0.582	0.772	1	1	0.584	0.778

表6 在OTB100数据集上，不同权重比例的重要特征损失函数和特征相似损失函数的攻击实施在SiamRPN++跟踪器的攻击结果

$α 1$	$α 2$	成功率	准确率	$α 1$	$α 2$	成功率	准确率	$α 1$	$α 2$	成功率	准确率
100	0.000 1	0.565	0.748	10	0.000 1	0.572	0.755	1	0.000 1	0.577	0.765
100	0.001	0.573	0.757	10	0.001	0.575	0.763	1	0.001	0.581	0.772
100	0.01	0.576	0.765	10	0.01	0.580	0.771	1	0.01	0.583	0.776
100	1	0.578	0.766	10	1	0.582	0.772	1	1	0.584	0.778

图5 在VOT2018数据集中,IoU攻击方法[5]以及本文攻击方法在SiamRPN++跟踪器上的跟踪结果可视化

参考文献 22

1	SZEGEDY C, ZAREMBA W, SUTSKEVER I, et al. Intriguing properties of neural networks[EB/OL]. (2013-12-21)[2022-01]. .
2	YAN B, WANG D, LU H C, et al. Cooling-shrinking attack: Blinding the tracker with imperceptible noises[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle: IEEE, 2020: 987-996.
3	YAN X Y, CHEN X S, JIANG Y, et al. Hijacking tracker: A powerful adversarial attack on visual tracking[C]//ICASSP 2020 - 2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Barcelona: IEEE, 2020: 2897-2901.
4	LIANG S Y, WEI X X, YAO S Y, et al. Efficient adversarial attacks for visual object tracking[C]//European Conference on Computer Vision - ECCV 2020. Glasgow: Springer, 2020: 34-50.
5	CHEN X S, YAN X Y, ZHENG F, et al. One-shot adversarial attacks on visual tracking with dual attention[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle: IEEE, 2020: 10173-10182.
6	GUO Q, CHENG Z Y, JUEFEI-XU F, et al. Learning to adversarially blur visual object tracking[C]//2021 IEEE/CVF International Conference on Computer Vision (ICCV). Montreal: IEEE, 2022: 10819-10828.
7	GUO Q, XIE X F, JUEFEI-XU F, et al. SPARK: Spatial-aware online incremental attack against visual tracking[C]//European Conference on Computer Vision - ECCV 2020. Glasgow: Springer, 2020: 202-219.
8	JIA S, SONG Y B, MA C, et al. IoU attack: towards temporally coherent black-box adversarial attack for visual object tracking[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Nashville: IEEE, 2021: 6705-6714.
9	WANG Z B, GUO H C, ZHANG Z F, et al. Feature importance-aware transferable adversarial attacks[C]//2021 IEEE/CVF International Conference on Computer Vision (ICCV). Montreal: IEEE, 2022: 7619-7628.
10	WEI X, LIANG S, CHEN N, et al. Transferable adversarial attacks for image and video object detection[EB/OL]. (2018-11-30)[2022-01]. .
11	INKAWHICH N, LIANG K J, CARIN L, et al. Transferable perturbations of deep feature distributions[EB/OL]. (2020-04-27)[2022-01].
12	姚睿, 朱享彬, 周勇, 等. 一种基于重要特征的视觉目标跟踪可转移黑盒攻击方法: CN114511593A[P]. 2022-05-17.
	YAO R, ZHU X B, ZHOU Y, et al. Visual target tracking transferable black box attack method based on important features: CN114511593A[P]. 2022-05-17.(in Chinese).
13	LI B, WU W, WANG Q, et al. SiamRPN++: Evolution of Siamese visual tracking with very deep networks[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach: IEEE, 2020: 4277-4286.
14	YAO R, LIN G S, XIA S X, et al. Video object segmentation and tracking: A survey[J]. ACM Transactions on Intelligent Systems and Technology, 2020, 11(4): 1-47.
15	BERTINETTO L, VALMADRE J, HENRIQUES J F, et al. Fully-Convolutional Siamese Networks for Object Tracking[C]// European Conference on Computer Vision. Amsterdam: Springer, 2016: 850-865.
16	丁新尧, 张鑫. 基于显著性特征的选择性目标跟踪算法[J]. 电子学报, 2020, 48(1): 118-123.
	DING X Y, ZHANG X. Visual tracking with salient features and selective mechanism[J]. Acta Electronica Sinica, 2020, 48(1): 118-123. (in Chinese)
17	LI B, YAN J J, WU W, et al. High performance visual tracking with Siamese region proposal network[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 8971-8980.
18	SONG Y B, MA C, WU X H, et al. VITAL: VIsual tracking via adversarial learning[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 8990-8999.
19	陈丹, 姚伯羽. 运动模型引导的自适应核相关目标跟踪方法[J]. 电子学报, 2021, 49(3): 550-558.
	CHEN D, YAO B Y. Adaptive response kernel correlation target tracking method guided by motion model[J]. Acta Electronica Sinica, 2021, 49(3): 550-558. (in Chinese)
20	DONG Y P, LIAO F Z, PANG T Y, et al. Boosting adversarial attacks with momentum[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 9185-9193.
21	BHAT G, DANELLJAN M, VAN GOOL L, et al. Learning discriminative model prediction for tracking[C]//2019 IEEE/CVF International Conference on Computer Vision (ICCV). Seoul: IEEE, 2020: 6181-6190.
22	DAI K N, ZHANG Y H, WANG D, et al. High-performance long-term tracking with meta-updater[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle: IEEE, 2020: 6297-6306.

基于重要特征的视觉目标跟踪可迁移黑盒攻击方法

Transferable Black Box Attack on Visual Object Tracking Based on Important Features

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 22

相关文章 1

编辑推荐

Metrics