CHOIR：基于接触感知的4D手-物体交互重建
计算机视觉与模式识别
2026-05-22 v2
摘要
我们探讨日常开放世界单摄像头视频能否转化为可重用的4维交互原语：关节化手部运动、带6D姿态的时间序列物体形状，以及接触的when/where。这种能力将使我们能够可扩展地从真实交互中进行挖掘，并Beyond重建，支持场景感知的合成和规划。然而，从具有挑战性的单摄像头视频中重建手-物体交互（HOI）仍然困难：方法常常假设已知物体或精选场景，单独估计的手部和物体容易在杂乱、遮挡以及未知物体几何形状下失去一致性。针对这种设置，我们提出CHOIR（Contact-aware HOI Reconstruction），用于单摄像头下的手-物体交互重建，利用接触作为手部和物体之间的显式耦合信号。CHOIR首先从开放世界视觉先验初始化粗糙的、无接触感知的4维HOI序列。随后引入生成式HOI空间整正模块，以预测射线深度校正并整正手-物体相对位置，然后在整正后的几何上推导初始每帧接触对应关系。最后，一个基于动态更新接触约束的接触感知联合优化，强制执行几何、时序和接触一致性。实验在受控和具有挑战性的视频中表明，CHOIR在物体重建、物理合理性和时序一致性方面优于领先方法。
引用
@article{arxiv.2605.20992,
title = {CHOIR: Contact-aware 4D Hand-Object Interaction Reconstruction},
author = {Hao Xu and Yilin Liu and Yinqiao Wang and Chi-Wing Fu and Niloy J. Mitra},
journal= {arXiv preprint arXiv:2605.20992},
year = {2026}
}