用于自我中心手-物交互视频的细粒度可供性标注
计算机视觉与模式识别
2023-02-13 v2
摘要
对象可供性是手-物交互中的一个重要概念，它基于人类运动能力和物体物理属性提供动作可能性的信息，从而有益于动作预测和机器人模仿学习等任务。然而，现有数据集中可供性的定义通常：1) 将可供性与物体功能混淆；2) 将可供性与目标相关动作混淆；3) 忽略人类运动能力。本文提出了一种高效的标注方案来解决这些问题，通过将与目标无关的运动动作和抓取类型结合作为可供性标签，并引入机械动作的概念来表示两个物体之间的动作可能性。我们通过将该方案应用于 EPIC-KITCHENS 数据集提供了新的标注，并使用可供性识别、手-物交互热点预测以及可供性跨域评估等任务测试了我们的标注。结果表明，使用我们的标注训练的模型能够区分可供性与其它概念，预测物体上细粒度的交互可能性，并在不同领域间进行泛化。
引用
@article{arxiv.2302.03292,
title = {Fine-grained Affordance Annotation for Egocentric Hand-Object Interaction Videos},
author = {Zecheng Yu and Yifei Huang and Ryosuke Furuta and Takuma Yagi and Yusuke Goutsu and Yoichi Sato},
journal= {arXiv preprint arXiv:2302.03292},
year = {2023}
}
备注
WACV 2023. Refined version of Workshop article arXiv:2206.05424