基于多源混合采样与元学习实现事故场景鲁棒语义分割
计算机视觉与模式识别
2022-03-22 v1 机器人学
图像与视频处理
摘要
自动驾驶车辆利用城市场景分割像人类一样理解真实世界并作出相应反应。正常场景的语义分割在传统基准上取得了显著的精度提升。然而，现实中的大量事故呈现异常场景，例如物体形变、翻倒和意外交通行为。由于驾驶场景即使微小的分割错误也会对人类生命造成严重威胁，此类模型在事故场景中的鲁棒性是保障智能交通系统安全极为重要的因素。本文提出一种多源元学习无监督域适应（MMUDA）框架，以提升分割 Transformer 对极端事故场景的泛化能力。在 MMUDA 中，我们利用多域混合采样，以目标数据外观（异常场景）增强多源域（正常场景）图像。为训练模型，我们在多源设定中交织并研究了一种元学习策略以鲁棒化分割结果。我们进一步以 HybridASPP 解码器设计增强分割骨干（SegFormer），该设计具有大窗口注意力空间金字塔池化与条带池化，以高效聚合长程上下文依赖。我们的方法在 DADA-seg 基准上取得 46.97% 的 mIoU 分数，超越先前最优模型逾 7.50%。代码将公开于 https://github.com/xinyu-laura/MMUDA。
引用
@article{arxiv.2203.10395,
title = {Towards Robust Semantic Segmentation of Accident Scenes via Multi-Source Mixed Sampling and Meta-Learning},
author = {Xinyu Luo and Jiaming Zhang and Kailun Yang and Alina Roitberg and Kunyu Peng and Rainer Stiefelhagen},
journal= {arXiv preprint arXiv:2203.10395},
year = {2022}
}
备注
Code will be made publicly available at https://github.com/xinyu-laura/MMUDA