学习预测性视觉运动协调
计算机视觉与模式识别
2025-04-01 v1 机器人学
摘要
理解和预测人类视觉运动协调对于机器人、人机交互和辅助技术等应用至关重要。本文引入了一项基于预测的视觉运动建模任务，目标是从自我中心视觉和运动学观测中预测头部姿态、注视和上半身运动。我们提出了一种视觉运动协调表示（VCR），学习这些多模态信号之间的结构化时间依赖关系。我们扩展了一个基于扩散的运动建模框架，该框架整合了自我中心视觉和运动学序列，实现了时间一致且准确的视觉运动预测。我们的方法在大规模EgoExo4D数据集上进行了评估，展示了在多样化真实世界活动中的强泛化能力。我们的结果强调了多模态整合在理解视觉运动协调中的重要性，为视觉运动学习和人类行为建模研究做出了贡献。
引用
@article{arxiv.2503.23300,
title = {Learning Predictive Visuomotor Coordination},
author = {Wenqi Jia and Bolin Lai and Miao Liu and Danfei Xu and James M. Rehg},
journal= {arXiv preprint arXiv:2503.23300},
year = {2025}
}