KeDuSR：通过无核匹配实现真实世界双镜头超分辨率
计算机视觉与模式识别
2024-01-03 v2
摘要
双镜头超分辨率 (SR) 是一种基于参考 (Ref) 的 SR 的实际场景，利用长焦图像 (Ref) 辅助低分辨率广角图像 (LR 输入) 的超分辨率。与一般的 RefSR 不同，双镜头 SR 中的 Ref 仅覆盖重叠视场 (FoV) 区域。然而，当前的双镜头 SR 方法很少利用这些特定特征，而是直接在 LR 输入和 Ref 之间执行密集匹配。由于 LR 和 Ref 之间存在分辨率差距，匹配可能会错过最佳匹配候选者，并破坏重叠 FoV 区域中的一致结构。与之不同，我们提议首先通过结合全局变形和局部变形，将 Ref 与 LR 输入的中心区域（即重叠 FoV 区域）对齐，以使对齐后的 Ref 清晰且一致。然后，我们将对齐后的 Ref 和 LR 中心表述为值 - 键对，并将 LR 的角区域表述为查询。通过这种方式，我们提出了一种无核匹配策略，通过在 LR-角（查询）和 LR-中心（键）区域之间进行匹配，并将相应的对齐 Ref（值）变形到目标的角区域。我们的无核匹配策略避免了 LR 和 Ref 之间的分辨率差距，这使得我们的网络具有更好的泛化能力。此外，我们构建了一个包含 (LR, Ref, HR) 三元组的 DuSR-Real 数据集，其中 LR 和 HR 已良好对齐。在三个数据集上的实验表明，我们的方法大幅优于次优方法。我们的代码和数据集可在 https://github.com/ZifanCui/KeDuSR 获取。
引用
@article{arxiv.2312.17050,
title = {KeDuSR: Real-World Dual-Lens Super-Resolution via Kernel-Free Matching},
author = {Huanjing Yue and Zifan Cui and Kun Li and Jingyu Yang},
journal= {arXiv preprint arXiv:2312.17050},
year = {2024}
}
备注
14 pages, 10 figures. Accepted by AAAI-2024