通过模块化运动程序实现运动问答
计算机视觉与模式识别
2023-05-18 v2 人工智能
机器学习
摘要
为了构建能够在真实世界中感知并推理人类行为的人工智能系统，我们必须首先设计能够在运动序列上进行复杂时空推理的模型。朝着这一目标，我们提出了 HumanMotionQA 任务，用于在长形式人体运动序列上评估模型的复杂多步推理能力。我们生成了一个问答对数据集，其需要检测运动序列小片段中的运动线索、对事件发生时间进行时序推理，并查询特定的运动属性。此外，我们提出了 NSPose，一种用于该任务的神经符号方法，它使用符号推理和模块化设计，通过学习运动概念、属性神经算子和时间关系来 grounding 运动。我们展示了 NSPose 在 HumanMotionQA 任务上的适用性，其性能优于所有基线方法。
引用
@article{arxiv.2305.08953,
title = {Motion Question Answering via Modular Motion Programs},
author = {Mark Endo and Joy Hsu and Jiaman Li and Jiajun Wu},
journal= {arXiv preprint arXiv:2305.08953},
year = {2023}
}
备注
In ICML 2023; first two authors contributed equally to this work