SOAR：去场景偏置的开集动作识别
计算机视觉与模式识别
2023-09-06 v1
摘要
深度学习模型存在利用虚假线索进行预测的风险，例如基于背景场景来识别动作。当测试样本与训练样本具有不同场景分布时，该问题会严重降低开集动作识别性能。为缓解此问题，我们提出一种称为去场景偏置的开集动作识别（SOAR）的新方法，其具有对抗式场景重建模块和自适应对抗式场景分类模块。前者防止解码器在给定视频特征时重建视频背景，从而有助于减少特征学习中的背景信息。后者旨在给定视频特征时混淆场景类型分类，特别关注动作前景，并有助于学习场景不变信息。此外，我们设计了一个实验来量化场景偏置。结果表明当前的开集动作识别器偏向于场景，而我们提出的 SOAR 方法能更好地缓解此种偏置。进一步，我们的大量实验表明我们的方法优于 SOTA 方法，且消融研究证实了我们所提模块的有效性。
引用
@article{arxiv.2309.01265,
title = {SOAR: Scene-debiasing Open-set Action Recognition},
author = {Yuanhao Zhai and Ziyi Liu and Zhenyu Wu and Yi Wu and Chunluan Zhou and David Doermann and Junsong Yuan and Gang Hua},
journal= {arXiv preprint arXiv:2309.01265},
year = {2023}
}
备注
Accepted to ICCV 2023, code:https://github.com/yhZhai/SOAR