缓解与评估视频前景与背景中动作表征的静态偏置
计算机视觉与模式识别
2023-09-28 v3
摘要
在视频动作识别中，捷径静态特征会干扰运动特征的学习，导致分布外 (OOD) 泛化性能不佳。视频背景显然是静态偏置的一个来源，但视频前景（如演员的衣着）也可能提供静态偏置。本文中，我们通过创建来自视频静态部分与运动部分信号冲突的测试视频，实证验证了前景静态偏置的存在。为解决此问题，我们提出一种简单而有效的技术 StillMix，以学习鲁棒的动作表征。具体而言，StillMix 利用 2D 参考网络识别引发偏置的视频帧，并将其与视频混合用于训练，即使我们无法显式提取每帧内的偏置来源或枚举偏置类型，也能作为有效的偏置抑制。最后，为精确评估静态偏置，我们合成两个新基准：SCUBA 用于背景中的静态线索，SCUFO 用于前景中的静态线索。通过大量实验，我们证明 StillMix 缓解了两类静态偏置并改进了下游应用的视频表征。代码见 https://github.com/lihaoxin05/StillMix。
引用
@article{arxiv.2211.12883,
title = {Mitigating and Evaluating Static Bias of Action Representations in the Background and the Foreground},
author = {Haoxin Li and Yuan Liu and Hanwang Zhang and Boyang Li},
journal= {arXiv preprint arXiv:2211.12883},
year = {2023}
}