手-物交互推理
计算机视觉与模式识别
2022-01-14 v1
摘要
本文提出一种交互推理网络，用于建模视频中手与物体之间的时空关系。所提出的交互单元利用 Transformer 模块对每只动作手及其与另一只手以及所交互物体之间的时空关系进行推理。我们表明，对第一视角视频中的动作识别而言，建模双手交互至关重要，并证明通过使用位置编码轨迹，网络能更好地识别所观察到的交互。我们在 EPIC-KITCHENS 和 Something-Else 数据集上通过消融研究对提案进行了评估。
引用
@article{arxiv.2201.04906,
title = {Hand-Object Interaction Reasoning},
author = {Jian Ma and Dima Damen},
journal= {arXiv preprint arXiv:2201.04906},
year = {2022}
}