无需优化的 GAN “可操控性”
计算机视觉与模式识别
2021-01-26 v2
摘要
近期研究表明，在预训练 GAN 的潜空间中揭示“操控”方向取得了显著成功。这些方向对应于语义上有意义的图像变换（例如平移、缩放、颜色调整），并且在 GAN 所能生成的所有类别上具有类似的可解释效果。一些方法聚焦于用户指定的变换，而另一些则以无监督方式发现变换。然而，所有现有技术都依赖优化过程来暴露这些方向，且无法控制不同变换之间允许的交互程度。在本文中，我们证明“操控”轨迹可以直接由生成器的权重以闭式计算，无需任何形式的训练或优化。这适用于用户规定的几何变换，也适用于无监督发现更复杂的效果。我们的方法允许确定线性和非线性轨迹，并且相较先前方法具有诸多优势。特别地，我们能够控制是否允许某一变换以牺牲另一变换为代价（例如放大时是否允许平移以保持物体居中）。此外，我们可以确定轨迹的自然端点，其对应于在不发生退化的情况下可施加变换的最大程度。最后，我们展示了如何无需优化即可在图像间迁移属性，甚至可跨不同类别进行。
引用
@article{arxiv.2012.05328,
title = {GAN "Steerability" without optimization},
author = {Nurit Spingarn-Eliezer and Ron Banner and Tomer Michaeli},
journal= {arXiv preprint arXiv:2012.05328},
year = {2021}
}