ASteISR：高效适配单图超分辨预训练模型用于立体图超分辨
计算机视觉与模式识别
2024-07-08 v1
摘要
尽管单次预训练后微调范式在低层视觉任务中取得了进展，但仍面临诸多挑战，尤其是关于预训练模型规模的增加，如内存使用和训练时间。另一个常遇到的问题是直接将预训练单图模型应用于多图领域时效果不佳。在本文中，我们提出了一种高效方法，将预训练的单图超分辨 (SISR) transformer 网络迁移到立体图超分辨 (SteISR) 领域，通过参数高效微调 (PEFT) 方法实现。具体而言，我们引入立体适配器和空间适配器的概念，这些适配器被集成到预训练的 SISR transformer 网络中。随后，冻结预训练的 SISR 模型，使我们能够使用立体数据集对适配器进行微调。通过采用这种训练方法，我们使 SISR 模型在准确推断立体图方面的能力提升了 0.79 dB，数据集为 Flickr1024。该方法允许我们仅训练原始模型参数的 4.8%，在四个常用 SteISR 基准数据集上实现最新性能。与更复杂的全微调方法相比，我们的方法在训练时间和内存消耗上分别减少了 57% 和 15%。
引用
@article{arxiv.2407.03598,
title = {ASteISR: Adapting Single Image Super-resolution Pre-trained Model for Efficient Stereo Image Super-resolution},
author = {Yuanbo Zhou and Yuyang Xue and Wei Deng and Xinlin Zhang and Qinquan Gao and Tong Tong},
journal= {arXiv preprint arXiv:2407.03598},
year = {2024}
}