视线引导的手-物交互合成：数据集与方法
计算机视觉与模式识别
2026-03-18 v6
摘要
视线在揭示人类注意力与意图方面发挥着关键作用，特别是在手-物交互场景中，它引导并同步了需要大脑、手和物体之间精确协调的复杂任务。受此启发，我们引入了一项新任务：视线引导的手-物交互合成，在增强现实、虚拟现实和辅助技术中具有潜在应用。为支持该任务，我们提出了 GazeHOI，首个捕捉视线、手和物体交互同步 3D 建模的数据集。由于视线数据固有的稀疏性与噪声，以及生成手和物体运动时对高一致性与物理合理性的需求，该任务面临重大挑战。为解决这些问题，我们提出了一种堆叠式视线引导手-物交互扩散模型，命名为 GHO-Diffusion。堆叠设计有效降低了运动生成的复杂度。我们还在 GHO-Diffusion 的采样阶段引入了 HOI-Manifold Guidance，在维持数据流形的同时对生成运动实现细粒度控制。此外，我们提出了一种用于扩散条件的时空视线特征编码，并基于视线-接触图与视线-交互轨迹之间的一致性分数选择扩散结果。大量实验突显了我们方法的有效性以及数据集的独特贡献。更多详情请见 https://takiee.github.io/gaze-hoi/。
引用
@article{arxiv.2403.16169,
title = {Gaze-guided Hand-Object Interaction Synthesis: Dataset and Method},
author = {Jie Tian and Ran Ji and Lingxiao Yang and Suting Ni and Yuexin Ma and Lan Xu and Jingyi Yu and Ye Shi and Jingya Wang},
journal= {arXiv preprint arXiv:2403.16169},
year = {2026}
}
备注
Accepted by IEEE Transactions on Multimedia (TMM), 2026. Project Page: https://takiee.github.io/gaze-hoi/