以自我为中心的物体操作图
计算机视觉与模式识别
2020-06-08 v1 人工智能
机器人学
摘要
我们提出以自我为中心的物体操作图（Ego-OMG）——一种用于活动建模与近期未来动作预测的新表示，集成了三个组件：1）活动的语义时间结构，2）短期动态，以及 3）外观表示。语义时间结构通过图建模，并由图卷积网络嵌入，其状态建模手与物体之间的特征及关系。这些状态表示源自全部三个抽象层次，并跨越由建立与断开手-物接触所界定的片段。短期动态以两种方式建模：A）通过 3D 卷积，B）通过预测手轨迹的时空端点，即手与物体发生接触的位置。外观通过现有方法生成的深度时空特征建模。我们注意到在 Ego-OMG 中替换这些外观特征十分简单，因此 Ego-OMG 对大多数现有动作预测方法是互补的。我们在 EPIC Kitchens 动作预测挑战赛上评估了 Ego-OMG。EPIC Kitchens 一致的自我中心视角使得利用 Ego-OMG 所依赖的以手为中心的线索成为可能。我们展示了最先进的性能，大幅超越所有其他已发表的方法，在 EPIC Kitchens 动作预测挑战赛的未见过测试集上排名第一，在已见过测试集上排名第二。我们将 Ego-OMG 的成功归因于对长时间跨度的语义结构的建模。我们通过若干消融研究评估了所做的设计选择。代码将在接收后发布。
引用
@article{arxiv.2006.03201,
title = {Egocentric Object Manipulation Graphs},
author = {Eadom Dessalene and Michael Maynord and Chinmaya Devaraj and Cornelia Fermuller and Yiannis Aloimonos},
journal= {arXiv preprint arXiv:2006.03201},
year = {2020}
}