使用基于 Transformer 的风格迁移方法学习水下声学图像的视觉表示

水下自动目标识别（UATR）一直是海洋工程中具有挑战性的研究课题。尽管深度学习为陆地和空中目标识别带来了机遇，但由于传感器性能和可训练数据规模的限制，基于深度学习的水下目标识别技术一直滞后。本文提出了一个学习水下声学图像视觉表示的框架，该框架以基于 Transformer 的风格迁移模型为主体。它可以在保留原始高层语义内容的同时，用水下声学图像的视觉特征替换光学图像的低层纹理特征。所提出的框架可以充分利用丰富的光学图像数据集生成伪声学图像数据集，并将其作为初始样本训练水下声学目标识别模型。实验选择双频识别声纳（DIDSON）作为水下声学数据源，并以最常见的海洋生物——鱼类为研究对象。实验结果表明，所提出的方法可以生成高质量、高保真的伪声学样本，达到声学数据增强的目的，并为水下声-光图像域迁移研究提供支持。