视野中的船舶：用于船舶图像超分辨率的扩散模型

近年来，图像生成领域取得了显著进展，这主要得益于各种图像生成子任务（如图像修复、去噪和超分辨率）对高质量结果不断增长的需求。大量研究致力于探索超分辨率技术的应用，以增强低分辨率图像的质量。在此背景下，我们的方法深入探讨了船舶图像超分辨率问题，该问题对海岸和港口监控至关重要。我们研究了文本到图像扩散模型日益增长的关注所带来的机遇，利用此类基础模型已学习到的先验知识。具体而言，我们提出了一种基于扩散模型的架构，该架构在训练期间利用文本条件并进行类感知，以在生成超分辨率图像时最好地保留船舶的关键细节。由于该任务的特异性以及现成数据的稀缺性，我们还引入了一个从在线船舶图像（主要来自 ShipSpotting\footnote{\url{www.shipspotting.com}} 网站）抓取的大型标注船舶数据集。正如所进行的多次实验所证明的那样，我们的方法比以前用于超分辨率的其他深度学习模型取得了更稳健的结果。此外，我们研究了该模型如何有益于分类和目标检测等下游任务，从而强调了在真实场景中的实际应用。实验结果表明，所提出的框架在不同任务上相比 state-of-the-art 方法展现出了灵活性、可靠性和优异的性能。代码可在以下地址获取：https://github.com/LuigiSigillo/ShipinSight 。