面向现实世界错位观测的鲁棒自监督跨模态超分辨率
计算机视觉与模式识别
2026-03-09 v2
摘要
在现实世界错位数据上的跨模态超分辨率（SR）具有挑战性，因为仅提供 unlabeled 低分辨率（LR）源图像和高分辨率（HR）导向图像，且存在复杂的空间错位。以往方法要么依赖完全模拟的训练数据，要么采用次优的对齐策略，忽视跨模态依赖性，限制实际应用中的性能。为此，我们提出了 RobSelf，一个自监督模型，联合优化考虑错位感知的特征翻译器和内容感知的参考滤波器。翻译器通过弱监督的、考虑错位的翻译方式解决无监督的跨模态和跨分辨率对齐，生成对齐的导向特征。该特征引导滤波器在源图像上执行基于参考的判别式自我增强，实现高分辨率和高保真度的 SR 预测。在合成数据和我们收集的现实数据上的实验表明，RobSelf 实现了最先进的性能，超越了现有的自监督和监督方法。此外，它比以前的自监督方法快了最高可达 15.3。
引用
@article{arxiv.2602.18822,
title = {Robust Self-Supervised Cross-Modal Super-Resolution against Real-World Misaligned Observations},
author = {Xiaoyu Dong and Jiahuan Li and Ziteng Cui and Naoto Yokoya},
journal= {arXiv preprint arXiv:2602.18822},
year = {2026}
}