ROMNet:焕新旧时记忆
图像与视频处理
2022-05-12 v2 计算机视觉与模式识别
机器学习
摘要
修复老照片中的记忆是计算机视觉领域中一个引人入胜的研究课题。这些遗留图像常遭受裂纹、噪声和褪色等严重且混杂的退化,而缺乏大规模配对老照片数据集使得该修复任务极具挑战性。本工作中,我们提出了一种新颖的基于参考的端到端学习框架,能够联合修复并着色退化的遗留图片。具体而言,所提框架由三个模块组成:用于退化修复的修复子网络、用于颜色直方图匹配与迁移的相似度子网络,以及基于色度参考信号条件预测图像色度元素的着色子网络。整个系统利用了给定参考图像中的颜色直方图先验,大幅降低了对大规模训练数据的依赖。除所提方法外,我们还创建了据我们所知首个公开的真实世界老照片配对基准真值数据集,用于评估老照片修复模型,其中每张老照片均由 PhotoShop 专家手动修复为 pristine 图像与之配对。我们在合成与真实世界数据集上的大量实验表明,我们的方法在定量与定性上均显著优于现有最优方法。
引用
@article{arxiv.2202.02606,
title = {ROMNet: Renovate the Old Memories},
author = {Runsheng Xu and Zhengzhong Tu and Yuanqi Du and Xiaoyu Dong and Jinlong Li and Zibo Meng and Jiaqi Ma and Hongkai Yu},
journal= {arXiv preprint arXiv:2202.02606},
year = {2022}
}
备注
Paper major revision