野外高难度动作的物理运动恢复插拔式方法
机器学习
2024-12-24 v1 计算机与社会
摘要
从视频中提取物理上可行的3D人体动作是关键任务。虽然现有基于仿真的动作模仿方法可以增强来自单目视频捕捉的日常动作的物理质量，但将这种能力扩展到高难度动作仍是开放挑战。这可以归因于视频基于动作捕捉结果中存在一些不良动作片段，以及建模高难度动作的固有复杂性。因此，鉴于分割在局部定位人体方面的优势，我们引入一种基于掩码的运动校正模块（MCM），利用运动上下文和视频掩码修复不良动作，生成适合模仿的动作；并提出一种基于物理的运动迁移模块（PTM），采用预训练和适应方法进行动作模仿，提高了物理可行性，能够处理野外具有挑战性的动作。我们的方法设计为插拔式模块，用于物理细化视频动作捕捉结果，包括高难度野外动作。最后，为验证我们的方法，我们收集了一个具有挑战性的野外测试集以建立基准，本方法在新基准和现有公开数据集上均显示出有效性。https://physicalmotionrestoration.github.io
引用
@article{arxiv.2412.17376,
title = {How Green Can AI Be? A Study of Trends in Machine Learning Environmental Impacts},
author = {Clément Morand and Anne-Laure Ligozat and Aurélie Névéol},
journal= {arXiv preprint arXiv:2412.17376},
year = {2024}
}