利用雅可比 $L_1$ 正则化在变分自编码器中实现局部解耦
机器学习
2021-10-29 v2 计算机视觉与模式识别
摘要
表征学习近期取得了诸多进展；然而，无监督表征学习仍可能受限于与潜空间旋转相关的模型辨识问题。变分自编码器（VAEs）及其扩展如 -VAEs 已被证明能改善潜变量与 PCA 方向的局部对齐，这在某些条件下有助于改进模型解耦。受独立成分分析（ICA）与稀疏编码的启发，我们提出在训练期间对 VAE 的生成雅可比施加 损失，以鼓励局部潜变量与多物体图像或多部件图像中变化的独立因子相对齐。我们在多个数据集上展示了结果，利用信息论与模块性度量给出定性与定量结果，表明我们增加的 代价促进了潜表征与各个变化因子的局部坐标轴对齐。
引用
@article{arxiv.2106.02923,
title = {Local Disentanglement in Variational Auto-Encoders Using Jacobian $L_1$ Regularization},
author = {Travers Rhodes and Daniel D. Lee},
journal= {arXiv preprint arXiv:2106.02923},
year = {2021}
}
备注
17 pages, 10 figures, NeurIPS 2021 camera ready