通过无监督几何蒸馏解耦内容与风格
计算机视觉与模式识别
2019-05-14 v1 机器学习
摘要
将物体解耦到内容与风格两个正交空间是具有挑战性的,因为二者对视觉观测的影响不同且不可预测。人们很少能获取大量数据来帮助分离这些影响。本文提出一种全新框架,以完全无监督的方式学习此种解耦表示。我们在双分支自编码器框架中解决该问题。对于结构内容分支,我们将潜因子投影到软结构化点张量,并用源自先验知识的损失对其进行约束。该约束促使分支蒸馏几何信息。另一分支学习互补的风格信息。两分支构成一有效框架,可在无任何人工标注下解耦物体的内容-风格表示。我们在四个图像数据集上评估了方法,展示了在合成与真实世界数据上优越的解耦与视觉类比质量。我们能够生成 256*256 分辨率的照片级真实图像,其内容与风格明显解耦。
引用
@article{arxiv.1905.04538,
title = {Disentangling Content and Style via Unsupervised Geometry Distillation},
author = {Wayne Wu and Kaidi Cao and Cheng Li and Chen Qian and Chen Change Loy},
journal= {arXiv preprint arXiv:1905.04538},
year = {2019}
}
备注
Accepted to ICLR 2019 Workshop