D-LORD用于运动风格化
计算机视觉与模式识别
2024-12-06 v1 人工智能
摘要
本文介绍了一个名为D-LORD（用于表征解耦的双重潜在优化）的新颖框架，该框架专为运动风格化（运动风格迁移和运动重定向）而设计。此框架的主要目标是通过数据驱动的潜在优化方法，将类别和内容信息从给定的运动序列中分离出来。这里，类别指的是个人特有的风格，例如特定的情绪或个体的身份，而内容则与动作的风格无关方面相关，例如行走或跳跃等普遍理解的概念。D-LORD的一个关键优势是它能够在不需要配对运动数据的情况下执行风格迁移。相反，它在潜在优化过程中利用类别和内容标签。通过解耦表征，该框架能够使用自适应实例归一化将一个运动序列的风格转换为另一个的风格。所提出的D-LORD框架在设计上注重泛化性，使其能够处理不同应用中的各种类别和内容标签。此外，当提供特定的类别和内容标签时，它可以生成多样化的运动序列。通过在三个数据集上的实验证明了该框架的有效性：用于运动风格迁移的CMU XIA数据集、MHAD数据集以及用于运动重定向的RRIS Ability数据集。值得注意的是，本文提出了第一个用于运动风格迁移和运动重定向的通用框架，展示了其在该领域的潜在贡献。
引用
@article{arxiv.2412.04097,
title = {D-LORD for Motion Stylization},
author = {Meenakshi Gupta and Mingyuan Lei and Tat-Jen Cham and Hwee Kuan Lee},
journal= {arXiv preprint arXiv:2412.04097},
year = {2024}
}