Hessian 惩罚：一种用于无监督解耦的弱先验
计算机视觉与模式识别
2020-08-25 v1 图形学
机器学习
神经与进化计算
摘要
现有的深度生成模型解耦方法依赖于手工选取的先验与复杂的基于编码器的架构。在本文中，我们提出 Hessian 惩罚（Hessian Penalty），一种简单的正则项，它鼓励生成模型关于其输入的 Hessian 矩阵为对角阵。我们基于 Hutchinson 估计器引入了与模型无关、无偏的随机近似以在训练中高效计算该项。我们的方法仅需几行代码即可应用于广泛的深度生成器。我们表明，在多个数据集上将 Hessian 惩罚应用于 ProGAN 时，往往会在潜空间中自发产生轴对齐解耦。此外，我们以无监督方式利用该正则项在 BigGAN 的潜空间中识别可解释方向。最后，我们提供经验证据表明 Hessian 惩罚应用于过参数化潜空间时会促使显著的收缩。
关键词
引用
@article{arxiv.2008.10599,
title = {The Hessian Penalty: A Weak Prior for Unsupervised Disentanglement},
author = {William Peebles and John Peebles and Jun-Yan Zhu and Alexei Efros and Antonio Torralba},
journal= {arXiv preprint arXiv:2008.10599},
year = {2020}
}
备注
ECCV 2020 (Spotlight). Code available at https://github.com/wpeebles/hessian_penalty . Project page and videos available at https://www.wpeebles.com/hessian-penalty