RAM++：通过自适应掩码的鲁棒表征学习用于全合一图像修复
计算机视觉与模式识别
2025-09-16 v1
摘要
本文提出了RAM++（鲁棒表征学习通过自适应掩码），一个用于全合一图像修复的两阶段框架。RAM++将高层语义理解与低层纹理生成相结合，以实现面向内容的鲁棒修复。它解决了现有基于退化的方法在极端场景（如退化与图像结构强耦合）中的局限性。RAM++还通过三个关键设计缓解了常见挑战，如任务间性能不平衡、对已见退化的过拟合以及对未见退化的泛化能力弱：1）自适应语义感知掩码（AdaSAM）：一种预训练策略，对语义丰富和纹理区域施加像素级掩码。该设计使网络能够从各种退化中学习生成先验和图像内容先验。2）掩码属性传导（MAC）：一种选择性微调策略，调整贡献较大的层，以在保留已学先验的同时弥合掩码预训练与全图像微调之间的完整性差距。3）鲁棒特征正则化（RFR）：一种利用DINOv2的语义一致性和退化不变表示，结合高效特征融合，以实现忠实且语义连贯的修复的策略。通过这些设计，RAM++在已见、未见、极端和混合退化中实现了鲁棒的、均衡的且最先进的性能。我们的代码和模型将发布于 https://github.com/DragonisCV/RAM
引用
@article{arxiv.2509.12039,
title = {RAM++: Robust Representation Learning via Adaptive Mask for All-in-One Image Restoration},
author = {Zilong Zhang and Chujie Qin and Chunle Guo and Yong Zhang and Chao Xue and Ming-Ming Cheng and Chongyi Li},
journal= {arXiv preprint arXiv:2509.12039},
year = {2025}
}
备注
18 pages, 22 figures