HandDiffuse：基于扩散模型的双手交互生成控制器
计算机视觉与模式识别
2025-04-24 v2
摘要
现有的手部数据集大多为短程交互，交互强度弱，受到手部自遮挡和自相似性限制，难以满足交互式手部运动生成的需求。为缓解数据稀缺问题，我们提出了HandDiffuse12.5M，一个由具有强烈双手交互的时序序列组成的新型数据集。HandDiffuse12.5M 在规模和交互丰富度上均处于现有双手数据集之首。我们进一步提出了强大的基线方法HandDiffuse，用于使用各种控制器实现可控的交互手部运动生成。具体而言，我们采用扩散模型作为骨干网络，并设计两种运动表示以适应不同控制器。为减少伪影，我们还提出了Interaction Loss，该损失函数显式量化动态交互过程。我们的HandDiffuse支持多种具有生动双手交互的应用场景，即运动插值和轨迹控制。实验表明，我们的方法在运动生成方面优于最先进的技术，同时也为其他数据集提供了数据增强。我们的数据集、相应代码和预训练模型将发布给社区，以促进面向双手交互建模的未来研究。
引用
@article{arxiv.2312.04867,
title = {HandDiffuse: Generative Controllers for Two-Hand Interactions via Diffusion Models},
author = {Pei Lin and Sihang Xu and Hongdi Yang and Yiran Liu and Xin Chen and Jingya Wang and Jingyi Yu and Lan Xu},
journal= {arXiv preprint arXiv:2312.04867},
year = {2025}
}