GeneOH Diffusion：通过去噪扩散实现可泛化的手 - 物交互去噪
摘要
在本文中，我们着手解决手 - 物交互（HOI）去噪这一具有挑战性的问题。给定一个错误的交互序列，目标是修正错误的手部轨迹以去除交互伪影，从而获得感知上真实的序列。这一挑战涉及复杂的交互噪声，包括不自然的手部姿态和错误的手 - 物关系，同时还需要对新交互和多样化噪声模式具有鲁棒的泛化能力。我们通过一种名为 GeneOH Diffusion 的新方法应对这些挑战，该方法包含两个关键设计：一种名为 GeneOH 的创新型以接触为中心的 HOI 表示法，以及一种新的域可泛化去噪方案。以接触为中心的表示法 GeneOH 对 HOI 过程进行了信息丰富的参数化，促进了在各种 HOI 场景下的增强泛化。新的去噪方案由一个规范去噪模型组成，该模型训练用于将来自白化噪声空间的噪声数据样本投影到干净数据流形上，以及一种“通过扩散去噪”策略，该策略首先将输入轨迹扩散以与白化噪声空间对齐，然后通过规范去噪器进行清理，从而能够处理具有各种噪声模式的输入轨迹。在四个具有显著域变化的基准测试上进行的大量实验证明了本方法的优越有效性。GeneOH Diffusion 也显示出在各种下游应用中的潜力。项目网站：https://meowuu7.github.io/GeneOH-Diffusion/。
引用
@article{arxiv.2402.14810,
title = {GeneOH Diffusion: Towards Generalizable Hand-Object Interaction Denoising via Denoising Diffusion},
author = {Xueyi Liu and Li Yi},
journal= {arXiv preprint arXiv:2402.14810},
year = {2024}
}
备注
Accepted to ICLR 2024. Project website: https://meowuu7.github.io/GeneOH-Diffusion/; Huggingface Demo: https://huggingface.co/spaces/xymeow7/gene-hoi-denoising; Code: https://github.com/Meowuu7/GeneOH-Diffusion