DarSwin-Unet：失真感知的编码器-解码器架构
计算机视觉与模式识别
2025-02-19 v2
摘要
广角鱼眼图像正在越来越多地用于机器人、安防和移动（如无人机、航空航天）等感知任务。然而，当前模型要么忽略广角图像中的失真，要么不适用于像素级任务。在本文中，我们提出了一种基于径向变换架构的编码器-解码器模型，通过利用径向失真轮廓所定义的物理特性来适应广角镜头的失真。与原始模型仅执行分类任务不同，我们引入了U-Net架构，构建DarSwin-Unet，用于像素级任务。此外，我们提出了一种新策略，用于在生成输入标记时最小化稀疏性。我们的方法增强了模型处理广角鱼眼图像中像素级任务的能力，使其在实际应用中更有效。与其他基线方法相比，DarSwin-Unet在不同数据集上取得最佳成绩，在训练受限程度的失真（非常低、低、中、高）下表现显著，而在测试时包括所有失真，甚至包括超出分布的失真。我们在深度估计任务中展示了其性能，并通过大量实验表明，DarSwin-Unet能够对不同广角镜头的不可见失真实现零样本适应。
引用
@article{arxiv.2407.17328,
title = {DarSwin-Unet: Distortion Aware Encoder-Decoder Architecture},
author = {Akshaya Athwale and Ichrak Shili and Émile Bergeron and Ola Ahmad and Jean-François Lalonde},
journal= {arXiv preprint arXiv:2407.17328},
year = {2025}
}