基于域适应的实时雾天场景理解多任务学习的精简竞争方法
计算机视觉与模式识别
2020-12-11 v1
摘要
恶劣天气条件下的自动驾驶场景理解因室外场景能见度差（如雾天）而成为一个现实且具挑战性的问题。然而，由于大多数当代场景理解方法应用于理想天气条件下，与既有的极端天气理解先验认识相比，此类方法未必能提供真正最优的性能。本文中，我们提出一种复杂但具竞争力的多任务学习方法，借助对抗训练与域适应的最新进展，能够在雾天条件下实时执行语义场景理解与单目深度估计。作为端到端流水线，我们的模型通过基于 GAN 的模型将场景从雾天转换至正常天气，提供了一种超越雾天能见度退化的新颖方案。为在语义分割中获得最优性能，我们的模型生成深度作为 RGB 在分割网络中的互补源信息。我们通过同时以共享权重训练两个模型（正常与雾天）（各模型独立在各天气条件下训练）提供鲁棒的雾天场景理解方法。我们的模型通过具有密集连接与特征融合的独立编码器整合 RGB 色彩、深度与亮度图像，并利用跳跃连接产生一致的深度与分割预测。借助该在推理时计算复杂度低的架构设计，我们得以以整体模型复杂度极小的一部分实现与当代方法相当的性能。
引用
@article{arxiv.2012.05304,
title = {Competitive Simplicity for Multi-Task Learning for Real-Time Foggy Scene Understanding via Domain Adaptation},
author = {Naif Alshammari and Samet Akcay and Toby P. Breckon},
journal= {arXiv preprint arXiv:2012.05304},
year = {2020}
}