你是如何做到的？基于伪副词的细粒度动作理解
计算机视觉与模式识别
2022-06-13 v2
摘要
我们旨在理解动作是如何执行的并识别细微差异，例如“用力折叠”与“轻轻折叠”。为此，我们提出了一种识别跨不同动作的副词的方法。然而，此类细粒度标注难以获取，且其长尾特性使得在罕见动作-副词组合中识别副词具有挑战性。因此，我们的方法使用带有多个副词伪标签的半监督学习，以利用仅含动作标签的视频。结合这些伪副词的自适应阈值处理，我们能够在应对长尾分布的同时高效利用可用数据。此外，我们为三个现有视频检索数据集收集了副词标注，从而引入了在未见动作-副词组合和未见领域中识别副词的新任务。实验证明了我们方法的有效性，其在副词识别和适用于副词识别的半监督工作方面均优于先前工作。我们还展示了副词如何关联细粒度动作。
引用
@article{arxiv.2203.12344,
title = {How Do You Do It? Fine-Grained Action Understanding with Pseudo-Adverbs},
author = {Hazel Doughty and Cees G. M. Snoek},
journal= {arXiv preprint arXiv:2203.12344},
year = {2022}
}
备注
Accepted to CVPR 2022