通过类自适应归一化实现高效语义图像合成
计算机视觉与模式识别
2021-05-06 v2 图形学
摘要
空间自适应归一化（SPADE）近期在条件语义图像合成中取得了显著成功，其利用从语义布局学习到的空间变化变换来调制归一化激活，以防止语义信息被冲刷掉。尽管性能令人印象深刻，但仍亟需更深入理解该结构内部的优势，以帮助减少这一新颖结构引入的大量计算与参数开销。本文从投入产出比的角度，对空间自适应归一化的有效性进行了深入分析，观察到其调制参数更多受益于语义感知而非空间自适应，尤其对于高分辨率输入掩码。受此观察启发，我们提出类自适应归一化（CLADE），一种轻量但同样有效的变体，仅对语义类别自适应。为进一步提升空间自适应能力，我们引入从语义布局计算的类内位置图编码来调制 CLADE 的归一化参数，并提出 CLADE 的真正空间自适应变体，即 CLADE-ICPE。通过在多个具挑战性数据集上的大量实验，我们证明所提 CLADE 可泛化至不同基于 SPADE 的方法，同时在生成质量上与 SPADE 相当，但更高效，具有更少的额外参数与更低的计算成本。代码与预训练模型见 \url{https://github.com/tzt101/CLADE.git}。
引用
@article{arxiv.2012.04644,
title = {Efficient Semantic Image Synthesis via Class-Adaptive Normalization},
author = {Zhentao Tan and Dongdong Chen and Qi Chu and Menglei Chai and Jing Liao and Mingming He and Lu Yuan and Gang Hua and Nenghai Yu},
journal= {arXiv preprint arXiv:2012.04644},
year = {2021}
}
备注
To appear at TPAMI 2021, code is available https://github.com/tzt101/CLADE.git