基于运动伪标注与引导渐进标签修正的手-物接触预测
计算机视觉与模式识别
2021-10-22 v1
摘要
每次手-物交互都始于接触。尽管预测手与物体间的接触状态有助于理解手-物交互，先前的手-物分析方法假设交互的手与物体已知，且未被详细研究。本研究中，我们引入一种基于视频的方法预测手与物体间的接触。具体而言，给定视频及一对手与物体轨迹，我们逐帧预测二值接触状态（接触或无接触）。然而，标注大量手-物轨迹与接触标签成本高昂。为克服该困难，我们提出一个半监督框架，包含（i）利用基于运动的伪标签自动收集训练数据，以及（ii）引导渐进标签修正（gPLC），其利用少量可信数据纠正含噪伪标签。我们在一个新建的手-物接触预测基准数据集上验证了框架有效性，并展现出优于现有基线方法的性能。代码与数据见 https://github.com/takumayagi/hand_object_contact_prediction。
引用
@article{arxiv.2110.10174,
title = {Hand-Object Contact Prediction via Motion-Based Pseudo-Labeling and Guided Progressive Label Correction},
author = {Takuma Yagi and Md Tasnimul Hasan and Yoichi Sato},
journal= {arXiv preprint arXiv:2110.10174},
year = {2021}
}
备注
BMVC 2021