IMoRe：面向人类运动问答的隐式程序引导推理
计算机视觉与模式识别
2025-08-05 v1
摘要
现有人类运动问答方法依赖显式程序执行，手动定义功能模块的需求可能限制其可扩展性和适应性。为此，我们提出一种隐式程序引导运动推理(IMoRe)框架，无需手动设计模块即可实现跨多种查询类型的统一推理。不同于现有基于问题词语推断推理操作的隐式方法， our model 直接以结构化程序函数为条件，确保推理步骤的更精确执行。此外，我们引入程序引导阅读机制，动态从预训练的运动Vision Transformer(ViT)中选择多级运动表征，捕获高层语义和细粒度运动线索。推理模块迭代细化记忆表征，利用结构化程序函数提取不同查询类型的相关信息。我们的模型在Babel-QA上实现了最先进的性能，并在全新的基于HuMMan的数据集上实现了泛化，表明其在不同运动推理数据集上的适应性。代码和数据集均可用：https://github.com/LUNAProject22/IMoRe。
引用
@article{arxiv.2508.01984,
title = {IMoRe: Implicit Program-Guided Reasoning for Human Motion Q&A},
author = {Chen Li and Chinthani Sugandhika and Yeo Keat Ee and Eric Peh and Hao Zhang and Hong Yang and Deepu Rajan and Basura Fernando},
journal= {arXiv preprint arXiv:2508.01984},
year = {2025}
}
备注
*Equal contribution. Accepted by the International Conference on Computer Vision (ICCV 2025)