用于水下图像增强的图像条件扩散 Transformer
计算机视觉与模式识别
2024-07-09 v1 人工智能
摘要
水下图像增强因其对水下作业和海洋工程的重要性而备受关注。受生成模型最新进展的启发，我们提出了一种基于图像条件扩散 Transformer 的新型水下图像增强方法。我们的方法将退化的水下图像作为条件输入，并将其转换到应用图像条件扩散 Transformer 的潜在空间。图像条件扩散 Transformer 用 transformer 替换了去噪扩散概率模型中的传统 U-Net 主干，从而继承了 transformer 的可扩展性等优良特性。此外，我们使用包含方差的混合损失函数训练图像条件扩散 Transformer，以获得更好的对数似然，同时显著加速了采样过程。我们通过实验评估了图像条件扩散 Transformer 的可扩展性，并在 Underwater ImageNet 数据集上与水下图像增强领域的先前工作进行了比较。除了良好的扩展特性外，我们最大的模型 ICDT-XL/2 优于所有比较方法，实现了图像增强的最先进质量。
引用
@article{arxiv.2407.05389,
title = {Image-Conditional Diffusion Transformer for Underwater Image Enhancement},
author = {Xingyang Nie and Su Pan and Xiaoyu Zhai and Shifei Tao and Fengzhong Qu and Biao Wang and Huilin Ge and Guojie Xiao},
journal= {arXiv preprint arXiv:2407.05389},
year = {2024}
}