用于图像生成中无监督解耦的正交雅可比正则化
计算机视觉与模式识别
2021-08-18 v1
摘要
无监督解耦学习对于理解并利用深度生成模型至关重要。近期，SeFa 尝试通过对预训练 GAN 的第一层投影执行 SVD 来寻找潜在解耦方向。然而，它仅应用于第一层且以后处理方式工作。Hessian Penalty 通过最小化输出 Hessian 矩阵的非对角项来促进解耦，并可应用于多层。但它独立约束输出的每一项，使其在解耦空间相关变化的潜在方向（如形状、大小、旋转等）时不够充分。本文提出一种简单的正交雅可比正则化（OroJaR）以鼓励深度生成模型学习解耦表示。它简单地鼓励由不同潜在维度上的扰动所引起的输出变化相互正交，并相对于输入计算雅可比以表示此变化。我们表明，我们的 OroJaR 也以间接方式鼓励输出的 Hessian 矩阵为对角。与 Hessian Penalty 相比，我们的 OroJaR 以整体方式约束输出，使其在解耦对应空间相关变化的潜在维度时非常有效。定量与定性实验结果表明，我们的方法在解耦且可控的图像生成中是有效的，并优于最先进的方法。我们的代码见 https://github.com/csyxwei/OroJaR
引用
@article{arxiv.2108.07668,
title = {Orthogonal Jacobian Regularization for Unsupervised Disentanglement in Image Generation},
author = {Yuxiang Wei and Yupeng Shi and Xiao Liu and Zhilong Ji and Yuan Gao and Zhongqin Wu and Wangmeng Zuo},
journal= {arXiv preprint arXiv:2108.07668},
year = {2021}
}
备注
ICCV 2021. Code is available at: https://github.com/csyxwei/OroJaR