借助掩码图像建模恢复任何内容：面向盲 all-in-one 图像修复的 RAM 框架
计算机视觉与模式识别
2024-10-01 v1
摘要
all-in-one 图像修复旨在使用单一模型处理多种退化类型。本文提出一种用于 Restore Anything with Masks (RAM) 的简单管道，以掩码图像建模为中心，聚焦于图像内容而非区分退化类型。我们的管道包含两个阶段：掩码图像预训练与掩码属性导向的微调。我们设计一种专为 all-in-one 图像修复而定制的简单掩码预训练方法，增强网络从各种退化中提取图像内容先验的能力，实现不同修复任务的均衡性能并取得更佳整体效果。为在保持所学图像先验的同时弥合输入完整性差距，我们选择性地微调少数层数。具体而言，依据提出的掩码属性导向 (MAC) 对各层重要性进行排序，选取贡献更大的层进行微调。大量实验表明，我们的方法实现了最先进的性能。我们的代码与模型将在 \href{https://github.com/Dragonisss/RAM}{https://github.com/Dragonisss/RAM} 发布。
关键词
引用
@article{arxiv.2409.19403,
title = {Restore Anything with Masks: Leveraging Mask Image Modeling for Blind All-in-One Image Restoration},
author = {Chu-Jie Qin and Rui-Qi Wu and Zikun Liu and Xin Lin and Chun-Le Guo and Hyun Hee Park and Chongyi Li},
journal= {arXiv preprint arXiv:2409.19403},
year = {2024}
}
备注
Accepted by ECCV 2024