中文

用于运动插值的洗牌自回归

计算机视觉与模式识别 2023-06-13 v1 人工智能

摘要

本研究旨在为运动插值任务提供深度学习解决方案。先前研究使用几何权重函数解决该问题,另一些工作提出以连续姿态序列为输入、针对不同问题设置的神经网络。然而,运动插值是一个更复杂的问题,其输入为孤立姿态(例如仅一个起始姿态与一个结束姿态)。当应用于运动插值时,这些深度学习方法性能有限,因为它们未像原始几何公式那样利用插值帧间的灵活依赖关系。为实现该插值特性,我们提出称为 Shuffled AutoRegression 的新框架,将自回归扩展为以任意(洗牌后)顺序生成,并将任意帧间依赖建模为有向无环图。我们进一步提出构建一种特定依赖图的方法,其三个阶段组装为一个端到端时空运动 Transformer。在当前最大规模之一的数据集上的实验结果表明,我们的模型仅从一帧起始到一帧结束即可生成生动连贯的运动,并以大幅优势超越对比方法。所提模型也可扩展至多关键帧运动插值任务及其他领域的插值。

关键词

引用

@article{arxiv.2306.06367,
  title  = {Shuffled Autoregression For Motion Interpolation},
  author = {Shuo Huang and Jia Jia and Zongxin Yang and Wei Wang and Haozhe Wu and Yi Yang and Junliang Xing},
  journal= {arXiv preprint arXiv:2306.06367},
  year   = {2023}
}

备注

accepted by ICASSP 2023