Decomposer：图像复原与图像分解的半监督学习
计算机视觉与模式识别
2023-11-29 v1 机器学习
摘要
我们提出 Decomposer，一种半监督重建模型，可将失真图像序列分解为其基本构成——原始图像与所施加的增强，即阴影、光照与遮挡。为解决该问题，我们使用 SIDAR 数据集，其提供了大量失真图像序列：每个序列包含对未失真版本施加了阴影、光照与遮挡的图像。每种失真以不同方式改变原始信号，例如加性噪声或乘性噪声。我们提出一种基于 transformer 的模型来显式学习此分解。该序列模型使用 3D Swin-Transformers 进行时空编码，并使用 3D U-Nets 作为分解各部分的预测头。我们证明，通过在弱监督伪标签上单独预训练模型，可引导模型针对我们模糊的问题定义进行优化，并学会区分不同的图像失真。
引用
@article{arxiv.2311.16829,
title = {Decomposer: Semi-supervised Learning of Image Restoration and Image Decomposition},
author = {Boris Meinardus and Mariusz Trzeciakiewicz and Tim Herzig and Monika Kwiatkowski and Simon Matern and Olaf Hellwich},
journal= {arXiv preprint arXiv:2311.16829},
year = {2023}
}