中文

StableMotion:使用非配对损坏数据训练运动清理模型

计算机视觉与模式识别 2025-09-16 v2 人工智能 图形学

摘要

运动捕捉数据常因传感器不精确和后处理而出现视觉上不协调的伪影。清理这些损坏的数据可能需要人类专家付出大量的手动劳动,这是一个成本高昂且耗时的过程。以往的数据驱动运动清理方法提供了自动化此清理过程的可能性,但通常需要领域内的配对损坏-干净训练数据。构建这样的配对数据集需要获取高质量、相对无伪影的运动片段,而这通常需要费力的人工清理。在这项工作中,我们提出了StableMotion,这是一种简单而有效的方法,可以直接从需要清理的非配对损坏数据集中训练运动清理模型。我们方法的核心是引入运动质量指标,这些指标可以通过手动标记或启发式算法轻松标注,从而能够在混合质量的原始运动数据上训练质量感知的运动生成模型。在测试时,可以通过质量指标提示模型生成高质量的运动。我们的方法可以通过一个简单的基于扩散的框架实现,从而形成一个统一的运动生成-判别模型,该模型可用于识别和修复损坏的帧。我们通过将StableMotion应用于SoccerMocap(一个包含真实世界运动伪影的245小时足球运动捕捉数据集),证明了我们提出的方法在生产场景中基于原始运动捕捉数据训练运动清理模型的有效性。训练后的模型有效纠正了广泛的运动伪影,将运动突变和冻结帧分别减少了68%和81%。结果和代码可在https://yxmu.foo/stablemotion-page获取。

引用

@article{arxiv.2505.03154,
  title  = {StableMotion: Training Motion Cleanup Models with Unpaired Corrupted Data},
  author = {Yuxuan Mu and Hung Yu Ling and Yi Shi and Ismael Baira Ojeda and Pengcheng Xi and Chang Shu and Fabio Zinno and Xue Bin Peng},
  journal= {arXiv preprint arXiv:2505.03154},
  year   = {2025}
}

备注

Accepted for SIGGRAPH Asia 2025