IA2U：一种用于空中模型到水下转换的多先验迁移插件
计算机视觉与模式识别
2024-01-22 v2
摘要
在水下环境中，悬浮颗粒浓度和浊度的变化会导致严重的图像退化，对图像增强（IE）和目标检测（OD）任务提出了重大挑战。目前，空中图像增强与检测方法已取得显著进展，但由于水下环境的复杂性与多变性，其在水下条件中的应用受到限制。与从头构建水下模型相比，微调空中模型可节省高昂开销，并拥有更多可选的参考工作。为解决这些问题，我们设计了一种多先验迁移插件，用于将空中模型转换为水下应用，命名为 IA2U。IA2U 能够在水下场景中实现高效应用，从而提升水下 IE 和 OD 的性能。IA2U 集成了三类水下先验：表征图像退化程度（如颜色和能见度）的水体类型先验；关注细节与纹理差异的退化先验；以及考虑拍摄时环境条件与被摄物体特征的样本先验。利用类 Transformer 结构，IA2U 将这些先验作为查询条件，并结合联合任务损失函数，实现了任务级水下图像特征的分层增强，从而兼顾了 IE 和 OD 两种不同任务的需求。实验结果表明，IA2U 与空中模型结合，可在水下图像增强和目标检测任务中取得卓越性能。代码将公开发布。
引用
@article{arxiv.2312.06955,
title = {IA2U: A Transfer Plugin with Multi-Prior for In-Air Model to Underwater},
author = {Jingchun Zhou and Qilin Gai and Kin-man Lam and Xianping Fu},
journal= {arXiv preprint arXiv:2312.06955},
year = {2024}
}