MetaPix：少样本视频重定向
计算机视觉与模式识别
2020-03-26 v2 机器学习
摘要
我们解决了将人类动作从一个视频无监督地重定向到另一个视频的任务。我们考虑了仅有少量目标帧可用的具有挑战性的设定。我们方法的核心是一个条件生成模型，可将输入的骨骼姿态（由现成的姿态估计器自动提取）转码为输出的目标帧。然而，由于服装和背景场景几何的差异，人类外观可能千差万别，因此构建通用的转码器具有挑战性。相反，我们学习将通用生成器适应——或个性化——到目标中特定的人和背景。为此，我们利用元学习来发现即时个性化的有效策略。元学习的一个显著好处是，个性化转码器自然地在生成帧之间强制时间一致性；所有帧都包含目标一致的服装和背景几何。我们在野外的互联网视频和图像上进行实验，并表明我们的方法在该任务上优于广泛使用的基线。
引用
@article{arxiv.1910.04742,
title = {MetaPix: Few-Shot Video Retargeting},
author = {Jessica Lee and Deva Ramanan and Rohit Girdhar},
journal= {arXiv preprint arXiv:1910.04742},
year = {2020}
}
备注
Short version accepted to NeurIPS'19 MetaLearn Workshop. Full version accepted to ICLR 2020. Webpage: https://imjal.github.io/MetaPix/