SiamTrans：基于预训练孪生 Transformer 的零样本多帧图像复原
计算机视觉与模式识别
2021-12-20 v1
摘要
我们提出了一种新颖的零样本多帧图像复原方法，用于去除在连续帧中变化的非期望遮挡元素（如雨、雪和摩尔纹）。该方法包含三个阶段：Transformer 预训练、零样本复原和困难块精炼。利用预训练的 Transformer，我们的模型能够区分真实图像信息与遮挡元素之间的运动差异。对于零样本图像复原，我们设计了一个新颖的模型，称为 SiamTrans，它由孪生 Transformer、编码器和解码器构成。每个 Transformer 包含一个时间注意力层和若干自注意力层，以捕获多帧的时空信息。SiamTrans 仅在去噪任务上进行了预训练（自监督），并在三个不同的底层视觉任务（去雨、去摩尔纹和去雪）上进行了测试。与相关方法相比，我们的方法取得了最佳性能，甚至超越了那些采用监督学习的方法。
引用
@article{arxiv.2112.09426,
title = {SiamTrans: Zero-Shot Multi-Frame Image Restoration with Pre-Trained Siamese Transformers},
author = {Lin Liu and Shanxin Yuan and Jianzhuang Liu and Xin Guo and Youliang Yan and Qi Tian},
journal= {arXiv preprint arXiv:2112.09426},
year = {2021}
}