Your Local GAN：为生成模型设计二维局部注意力机制
强关联电子
2019-12-17 v1 材料科学
摘要
我们引入一种新的局部稀疏注意力层，其保留二维几何与局部性。我们展示仅用我们的构造替换 SAGAN 中的稠密注意力层，就能在 FID、Inception score 以及纯视觉方面获得非常显著的改进。在 ImageNet 上 FID 分数从 提升至 ，保持所有其他参数不变。我们为新层提出的稀疏注意力模式是使用一种利用信息流图的新颖信息论准则设计的。我们还提出了一种带有注意力的生成对抗网络反演的新方法。我们的方法从判别器的注意力层中提取显著图，并用其构造反演的新损失函数。这使我们能够可视化新引入的注意力头，并表明它们确实捕捉了真实图像二维几何的有趣方面。
引用
@article{arxiv.1911.12286,
title = {Field-induced magnetic transition and spin fluctuation in quantum spin liquid candidate CsYbSe$_2$},
author = {Jie Xing and Liurukara D. Sanjeewa and Jungsoo Kim and G. R. Stewart and Andrey Podlesnyak and Athena S. Sefat},
journal= {arXiv preprint arXiv:1911.12286},
year = {2019}
}