掩码预训练实现通用零样文噪声器
计算机视觉与模式识别
2024-11-20 v2
摘要
本文发现，基于掩码策略在广泛自然图像上训练的模型，天然嵌入了其分布知识，从而自然获得强图像去噪的潜在能力。基于此观察，我们提出一种新颖的零样文噪声范式，即掩码预训练后迭代填充 (MPI)。MPI 首先通过掩码训练模型，然后利用预训练权重对单个噪声图像进行高质量零样文去噪。具体而言，MPI 包含两个关键步骤：1) 掩码预训练通过对大量自然图像进行随机掩码重建来训练模型，获得通用表征，为不同噪声退化甚至不同图像类型的图像实现零样文去噪潜力；2) 迭代填充利用预训练知识实现有效零样文去噪。它通过利用预训练权重交替重建不同图像部分，逐步在有限迭代次数内组装出完整去噪图像。广泛的噪声情景实验表明，MPI 在推理时间上显著减少，优于先前方法。代码已公开于 https://github.com/krennic999/MPI。
引用
@article{arxiv.2401.14966,
title = {Masked Pre-training Enables Universal Zero-shot Denoiser},
author = {Xiaoxiao Ma and Zhixiang Wei and Yi Jin and Pengyang Ling and Tianle Liu and Ben Wang and Junkang Dai and Huaian Chen},
journal= {arXiv preprint arXiv:2401.14966},
year = {2024}
}
备注
To appear at NeurIPS 2024