基于姿态注意力视频重组的任意对象跨身份运动迁移
计算机视觉与模式识别
2020-07-20 v1
摘要
我们提出了一种基于注意力的网络，用于在任意对象之间迁移运动。给定源图像（多张）和驱动视频，我们的网络根据驱动视频中的运动对源图像中的主体进行动画化。在我们的注意力机制中，计算源图像与驱动图像中学习到的关键点之间的稠密相似度，以便从源图像中检索外观信息。与经过充分研究的基于变形的模型不同，我们的基于注意力的模型具有若干优势。通过非局部搜索并重组来自源内容的片段，我们的方法能够生成更真实的结果。此外，我们的系统可以利用对源外观的多次观测（例如人脸的正面和侧面）来提高结果的准确性。为减小自监督学习中的训练-测试差异，我们还引入了一种新颖的跨身份训练方案。借助该训练方案，我们的网络被训练为在不同主体之间迁移运动，正如真实测试场景那样。实验结果验证，我们的方法在多个对象领域均能生成视觉上令人满意的结果，并展现出优于以往工作的性能。
引用
@article{arxiv.2007.08786,
title = {Cross-Identity Motion Transfer for Arbitrary Objects through Pose-Attentive Video Reassembling},
author = {Subin Jeon and Seonghyeon Nam and Seoung Wug Oh and Seon Joo Kim},
journal= {arXiv preprint arXiv:2007.08786},
year = {2020}
}
备注
ECCV 2020