SCSNet:一种同时学习图像上色与超分辨率的高效范式
计算机视觉与模式识别
2022-01-13 v1
摘要
在恢复低分辨率灰度图像的实际应用中,我们通常需为目标设备运行图像上色、超分辨率与下采样操作三个独立过程。然而,该流水线因过程独立而冗余低效,且部分内部特征本可共享。因此,我们提出一种高效范式以同时执行图像上色与超分辨率(SCS),并设计端到端 SCSNet 实现该目标。所提方法包含两部分:用于学习颜色信息的上色分支,采用所提即插即用金字塔阀值交叉注意力(PVCAttn)模块聚合源图像与参考图像间特征图;以及用于融合颜色与纹理信息预测目标图像的超分辨率分支,使用所设计连续像素映射(CPM)模块以连续放大倍数预测高分辨率图像。此外,我们的 SCSNet 支持自动与参考两种模式,更贴合实际应用灵活性。大量实验证明,相较最优方法,我们的方法在生成真实图像上具优越性,例如自动与参考模式分别平均降低 FID 1.8↓ 与 5.1↓,同时参数量更少(大于 ×2↓)且推理更快(大于 ×3↑)。
引用
@article{arxiv.2201.04364,
title = {SCSNet: An Efficient Paradigm for Learning Simultaneously Image Colorization and Super-Resolution},
author = {Jiangning Zhang and Chao Xu and Jian Li and Yue Han and Yabiao Wang and Ying Tai and Yong Liu},
journal= {arXiv preprint arXiv:2201.04364},
year = {2022}
}