Ins-HOI：实例感知的人与物体交互恢复

准确建模人/手与物体之间的详细交互是一项极具吸引力但充满挑战的任务。当前的多视角采集系统仅能将多个主体重建为一个单一的、统一的网格，这无法在交互过程中分别对每个实例的状态进行建模。为了解决这一问题，以往的方法使用基于模板的表示来跟踪人/手和物体。然而，重建质量受限于模板的描述能力，导致这些方法在处理几何细节、紧密挤压变形和不可见接触面时存在固有困难。在本工作中，我们通过引入实例级占据场表示，提出了一种端到端的实例感知人与物体交互恢复（Ins-HOI）框架。然而，真实采集的数据呈现为整体网格，无法提供实例级监督。为此，我们进一步提出了一种互补训练策略，利用合成数据引入实例级形状先验，从而实现不同实例占据场的解耦。具体而言，通过随机组合人/手和物体的单独扫描所创建的合成数据，引导网络学习实例的粗略先验。同时，真实采集的数据有助于学习整体几何并限制接触区域的相互穿透。实验表明，我们的方法 Ins-HOI 支持实例级重建，即使在交互极其紧密的情况下也能提供合理且逼真的不可见接触面。为了促进该任务的研究，我们收集了一个大规模、高保真的 3D 扫描数据集，包含 5.2k 次真实世界人-椅和手-物体交互的高质量扫描。代码和数据将公开用于研究目的。