InfBaGel: 动态感知与迭代精化的人-物-场景交互生成
计算机视觉与模式识别
2026-04-07 v1 人工智能
摘要
人机场景交互（HOSI）生成在具身AI、模拟和动画中具有广泛应用。与人类-物体交互（HOI）和人类-场景交互（HSI）不同，HOSI生成需要对动态物体-场景变化进行推理，但受限于标注数据不足。为了解决这些问题，我们提出了一种粗到细的指令条件交互生成框架，该框架与一致性模型的迭代去噪过程明确对齐。具体而言，我们采用了一种动态感知策略，利用前一次精化的轨迹来更新场景上下文，并在一致性模型的每次去噪步骤中条件化后续精化，从而产生一致的交互。为了进一步减少物理伪影，我们引入了一种碰撞感知引导，在采样过程中缓解碰撞和穿透，而无需细粒度的场景几何，从而实现实时生成。为了克服数据稀缺，我们设计了一种混合训练策略，通过将体素化场景占用注入HOI数据集来合成伪HOSI样本，并与高保真HSI数据联合训练，在保留真实场景感知的同时实现交互学习。大量实验表明，我们的方法在HOSI和HOI生成方面均达到了最先进的性能，并对未见场景具有强大的泛化能力。
引用
@article{arxiv.2604.04843,
title = {InfBaGel: Human-Object-Scene Interaction Generation with Dynamic Perception and Iterative Refinement},
author = {Yude Zou and Junji Gong and Xing Gao and Zixuan Li and Tianxing Chen and Guanjie Zheng},
journal= {arXiv preprint arXiv:2604.04843},
year = {2026}
}
备注
ICLR 2026