在超分辨率网络中发掘独特的“语义”

图像超分辨率（SR）是一类典型的底层视觉问题。尽管深度 SR 网络已取得非凡成功，我们仍不清楚其工作机制。具体而言，SR 网络是否能学习语义信息，还是仅执行复杂的映射函数？是什么阻碍 SR 网络泛化至真实世界数据？这些问题不仅引发我们的好奇，也影响着 SR 网络的发展。本文中，我们首次尝试回答上述基本问题。在综合分析特征表示（通过降维与可视化）后，我们成功发现了 SR 网络中独特的“语义”，即深度退化表示（DDR），其与图像退化而非图像内容相关。我们表明，训练良好的深度 SR 网络天然是退化信息的优良描述子。我们的实验还揭示了影响此类语义提取的两个关键因素（对抗学习与原残差）。我们进一步将 DDR 应用于若干有趣应用（如失真识别、盲超分辨率与泛化评估）并取得可喜结果，证明了我们发现的正确性与有效性。