人机交互分析：人类与物体交互的整合与分解
计算机视觉与模式识别
2020-11-10 v2 机器学习
图像与视频处理
摘要
人类-物体交互（HOI）由人、物体和隐式交互/动词组成。与之前直接将像素映射到HOI语义的方法不同，我们提出了一种以分析方式学习HOI的新视角。类比于以研究如何用基本波的叠加表示信号为目标的谐波分析，我们提出了HOI分析。我们认为连贯的HOI可分解为孤立的人和物体。同时，孤立的人和物体也可再次整合为连贯的HOI。此外，具有相同HOI的人-物体对之间的变换也可通过整合与分解更容易地实现。因此，隐式动词将在变换函数空间中表示。鉴于此，我们提出了一种整合-分解网络（IDN）来实现上述变换，并在广泛使用的HOI检测基准上取得了最先进的性能。代码见 https://github.com/DirtyHarryLYL/HAKE-Action-Torch/tree/IDN-(Integrating-Decomposing-Network)。
引用
@article{arxiv.2010.16219,
title = {HOI Analysis: Integrating and Decomposing Human-Object Interaction},
author = {Yong-Lu Li and Xinpeng Liu and Xiaoqian Wu and Yizhuo Li and Cewu Lu},
journal= {arXiv preprint arXiv:2010.16219},
year = {2020}
}
备注
Accepted in NeurIPS 2020. Code: github.com/DirtyHarryLYL/HAKE-Action-Torch/tree/IDN-(Integrating-Decomposing-Network), Project: https://github.com/DirtyHarryLYL/HAKE-Action-Torch