超越接触：从预训练 2D 扩散模型中发现 3D 物体的综合可供性

理解人类在与给定环境交互时固有的知识（如可供性）对于改进 AI 以更好地辅助人类至关重要。现有方法主要关注交互过程中的人与物体接触，这种可供性表示无法完全涵盖人-物交互的其他重要方面，即相对位置和朝向的模式。在本文中，我们引入了一种名为综合可供性（Comprehensive Affordance, ComA）的新型可供性表示。给定一个 3D 物体网格，ComA 对交互中人体网格顶点的相对朝向和邻近度的分布进行建模，捕捉接触、相对朝向和空间关系的合理模式。为了构建该分布，我们提出了一种新颖的流程，能够在给定任意 3D 物体网格的情况下合成多样且逼真的 3D 人-物交互样本。该流程利用预训练的 2D 修复扩散模型从物体渲染图生成人-物交互图像，并将其提升至 3D。为避免生成虚假可供性，我们提出了一种新的修复框架——自适应掩膜修复。由于 ComA 建立在合成样本之上，它可以无界限地扩展至任何物体。通过广泛的实验，我们证明 ComA 在基于接触的可供性建模方面优于依赖人类标注的竞争方法。重要的是，我们还展示了 ComA 通过优化框架在 3D 中重建人-物交互的潜力，突出了其在结合接触与非接触属性方面的优势。