提高动作检测中的视角不变性和时间一致性
计算机视觉与模式识别
2026-05-22 v1
摘要
视角变化的不变性和动作的时间一致性是有效部署无剪辑视频人类动作检测的关键方面。现有的基于外观的视频检测方法常常在训练过程中受限于视角多样性，而基于运动的检测方法则频繁无法建模连续运动窗口之间的细粒度时间关系。本文引入一种新颖的两阶段动作检测方法，以提高视角不变性和全局时间一致性。第一阶段从增强的虚拟视角中提取运动特征，仅在训练时使用。第二阶段引入一种基于选择性时序建模的全新视角不变、多尺度时间编码器，用于跨视角和时间尺度聚合信息。在PKU-MMD和BABEL基准测试上进行的实验表明，该方法在所有考虑的划分中均显著优于最先进的方法。代码和训练好的模型可在 https://icb-vision-ai.github.io/HydraView-TAD 获取。
引用
@article{arxiv.2605.22695,
title = {Improving Viewpoint-Invariance and Temporal Consistency for Action Detection},
author = {Yannick Porto and Renato Martins and Thomas Chalumeau and Cedric Demonceaux},
journal= {arXiv preprint arXiv:2605.22695},
year = {2026}
}
备注
Accepted at ICIP 2026. Code and trained models are available at: https://icb-vision-ai.github.io/HydraView-TAD