面向实用的单样本运动合成
计算机视觉与模式识别
2024-06-06 v2 人工智能
图形学
机器学习
摘要
尽管所谓的从文本提示进行“冷启动”生成取得了最新进展,但其对数据和计算资源的需求,以及围绕知识产权和隐私问题的模糊性,为其实用性带来了一些反对意见。一个有趣且相对未探索的替代方案是引入从单个样本进行无条件合成,这已催生出有趣的生成应用。在本文中,我们专注于单样本运动生成,更具体地说是加速生成对抗网络(GAN)的训练时间。特别是,我们通过仔细退火防止模式坍缩的损失函数的权重,来解决使用小批量训练时GAN的平衡坍缩挑战。此外,我们在生成器和判别器模型中进行统计分析,以识别训练阶段之间的相关性并实现迁移学习。与原始GAN架构和单样本扩散模型相比,我们改进的GAN在Mixamo基准测试中实现了具有竞争力的质量和多样性,同时训练时间比前者快达6.8倍,比后者快1.75倍。最后,我们展示了改进后的GAN能够通过单次前向传递来混合和组合运动。项目页面见https://moverseai.github.io/single-shot。
引用
@article{arxiv.2406.01136,
title = {Towards Practical Single-shot Motion Synthesis},
author = {Konstantinos Roditakis and Spyridon Thermos and Nikolaos Zioulis},
journal= {arXiv preprint arXiv:2406.01136},
year = {2024}
}
备注
CVPR 2024, AI for 3D Generation Workshop, Project page: https://moverseai.github.io/single-shot