Home Action Genome：协同组合式动作理解
计算机视觉与模式识别
2021-05-12 v1
摘要
现有的动作识别研究将活动视为视频中发生的整体事件。近来，将动作表述为原子动作组合的做法已显示出在改进动作理解方面的潜力，这得益于包含此类标注的数据集的出现，使我们能够学习捕捉该信息的表示。然而，仍缺乏将动作组合扩展并利用多视角与多模态数据进行表示学习的研究。为推动该方向的研究，我们引入Home Action Genome (HOMAGE)：一个具有多模态与多视角的动作数据集，并补充了层次化活动与原子动作标签以及密集场景组合标签。利用丰富的多模态与多视角设置，我们提出协同组合式动作理解 (CCAU)，一种感知组合动作元素的层次化动作识别协同学习框架。CCAU在所有模态上均展现出一致的性能提升。此外，我们通过仅使用单个样本达到28.6% mAP，展示了在少样本动作识别中协同学习组合成分的效用。
引用
@article{arxiv.2105.05226,
title = {Home Action Genome: Cooperative Compositional Action Understanding},
author = {Nishant Rai and Haofeng Chen and Jingwei Ji and Rishi Desai and Kazuki Kozuka and Shun Ishizaka and Ehsan Adeli and Juan Carlos Niebles},
journal= {arXiv preprint arXiv:2105.05226},
year = {2021}
}
备注
CVPR '21