论GAN的单元(扩展摘要)
机器学习
2020-08-07 v3 机器学习
摘要
生成对抗网络(GANs)已在许多现实世界应用中取得令人印象深刻的成果。作为一个活跃的研究课题,许多GAN变体已经出现,在样本质量和训练稳定性方面有所改进。然而,GAN的可视化与理解在很大程度上是缺失的。GAN如何在内部表示我们的视觉世界?是什么导致了GAN结果中的伪影?架构选择如何影响GAN学习?回答此类问题能使我们发展新见解和更好的模型。在这项工作中,我们提出了一个在单元、对象和场景级别可视化和理解GAN的分析框架。我们首先通过基于分割的网络剖析方法识别出一组与概念密切相关的可解释单元。我们通过测量干预控制输出中对象的能力来量化可解释单元的因果效应。最后,我们通过将发现的概念插入新图像来考察这些单元与其周边环境的上下文关系。我们展示了由我们的框架启用的若干实际应用,从跨不同层、模型和数据集比较内部表示,到通过定位和移除致伪影单元来改进GAN,再到交互式操纵场景中的对象。我们将开源我们的交互式工具,以帮助研究人员和从业者更好地理解他们的模型。
引用
@article{arxiv.1901.09887,
title = {On the Units of GANs (Extended Abstract)},
author = {David Bau and Jun-Yan Zhu and Hendrik Strobelt and Bolei Zhou and Joshua B. Tenenbaum and William T. Freeman and Antonio Torralba},
journal= {arXiv preprint arXiv:1901.09887},
year = {2020}
}
备注
In AAAI-19 workshop on Network Interpretability for Deep Learning arXiv admin note: substantial text overlap with arXiv:1811.10597