AnaMoDiff：基于解耦去噪的 2D 类比运动扩散
计算机视觉与模式识别
2024-02-07 v1
摘要
我们提出了 AnaMoDiff，这是一种用于 2D 类比运动的新型扩散方法，适用于原始未标注的人形角色视频。我们的目标是准确地将 2D 驱动视频中的运动传递给具有相同身份的源角色，保持其在外观和自然运动方面的身份特征，即使在源角色和驱动角色在部件比例、运动速度和风格上存在显著差异的情况下亦然。我们的扩散模型通过在被噪声化的潜在空间中运行的潜在光流（LOF）网络传递输入运动，该网络在空间上具有感知能力，相较于原始 RGB 视频更高效，且即使在密集运动情境下也能抗噪。为实现运动类比与身份保持的双重目标，我们以特征解耦方式训练去噪模型， operates at two noise levels。通过常规噪声注入学习源的身份特征，而通过仅注入大值噪声从 LOF warped 视频中学习运动特征，旨定运动属性（包括姿态和肢体）由高层特征编码。实验表明，我们的方法在运动类比与身份保持之间实现了最佳的trade-off。
引用
@article{arxiv.2402.03549,
title = {AnaMoDiff: 2D Analogical Motion Diffusion via Disentangled Denoising},
author = {Maham Tanveer and Yizhi Wang and Ruiqi Wang and Nanxuan Zhao and Ali Mahdavi-Amiri and Hao Zhang},
journal= {arXiv preprint arXiv:2402.03549},
year = {2024}
}