MAS：基于二维扩散的多视角祖先采样用于三维动作生成
计算机视觉与模式识别
2024-03-26 v3 图形学
摘要
我们提出多视角祖先采样（MAS），一种利用从野外视频中获取的动作所训练的二维扩散模型进行三维动作生成的方法。因此，MAS 为以往因三维数据稀缺且难以采集而未被充分探索的令人兴奋且多样的动作领域开辟了机会。MAS 通过同时去噪表示同一三维动作不同视角的多个二维动作序列来工作。它在每个扩散步通过将所有独立生成结果组合为统一的三维序列并投影回原始视角，来确保各视角间的一致性。我们在描绘专业篮球动作、使用球器械的艺术体操表演以及赛马视频获取的二维姿态数据上展示了 MAS。在这些领域中，三维动作捕捉十分艰巨，而 MAS 仍能生成多样且真实的三维序列。与通过反复施加微小修正来优化每个样本的分数蒸馏（Score Distillation）方法不同，我们的方法使用了为扩散框架构建的采样过程。如我们所展示的，MAS 避免了域外采样和模式崩塌等常见问题。https://guytevet.github.io/mas-page/
引用
@article{arxiv.2310.14729,
title = {MAS: Multi-view Ancestral Sampling for 3D motion generation using 2D diffusion},
author = {Roy Kapon and Guy Tevet and Daniel Cohen-Or and Amit H. Bermano},
journal= {arXiv preprint arXiv:2310.14729},
year = {2024}
}