STPrivacy：时空隐私保护动作识别
计算机视觉与模式识别
2023-03-14 v2
摘要
现有的隐私保护动作识别（PPAR）方法主要通过 2D CNN 进行帧级（空间）隐私去除。遗憾的是，它们存在两个主要缺陷。首先，它们可能破坏输入视频中的时间动态，而时间动态对于准确的动作识别至关重要。其次，它们易受实际攻击场景的威胁，即攻击者从整个视频而非单帧中探测隐私。为解决这些问题，我们提出一种新颖的框架 STPrivacy 以执行视频级 PPAR。我们首次将视觉 Transformer 引入 PPAR，将视频视为管状片段（tubelet）序列，并相应设计两种互补机制，即稀疏化与匿名化，从时空角度去除隐私。具体而言，我们的隐私稀疏化机制采用自适应 token 选择以丢弃与动作无关的 tubelet。随后，我们的匿名化机制通过对抗学习在嵌入空间中隐式操纵剩余的动作 tubelet 以擦除隐私。这些机制在人眼隐私保护和部署过程中的动作-隐私权衡调整方面具有显著优势。我们还向社区贡献了首批两个大规模 PPAR 基准 VP-HMDB51 和 VP-UCF101。在它们以及另外两个任务上的大量评估验证了我们框架的有效性与泛化能力。
引用
@article{arxiv.2301.03046,
title = {STPrivacy: Spatio-Temporal Privacy-Preserving Action Recognition},
author = {Ming Li and Xiangyu Xu and Hehe Fan and Pan Zhou and Jun Liu and Jia-Wei Liu and Jiahe Li and Jussi Keppo and Mike Zheng Shou and Shuicheng Yan},
journal= {arXiv preprint arXiv:2301.03046},
year = {2023}
}