基于快速视频序列分割的恶劣天气条件下鲁棒语义分割
计算机视觉与模式识别
2020-07-02 v1 机器学习
图像与视频处理
摘要
语义分割等计算机视觉任务在良好天气条件下表现非常好，但如果天气变坏，它们难以在这些条件下达到同样的性能。在恶劣天气条件下获得更鲁棒可靠结果的一种可能性是使用视频分割方法，而非常用的单图像分割方法。视频分割方法除了当前图像信息外还捕获先前视频帧的时间信息，因此对环境干扰更具鲁棒性，尤其是当干扰仅出现在视频序列少数帧中时。然而，常基于循环神经网络的视频分割方法因网络中循环结构计算代价高昂而无法再用于实时应用。例如，在单分割方法 ICNet 中适当位置放置循环单元的 LSTM-ICNet，其推理时间相比基础 ICNet 增加了至多 61%。因此，本工作通过修改网络的循环单元来加速 LSTM-ICNet，使其重新具备实时能力。在不同数据集和各种天气条件下的实验表明，这些修改可使推理时间减少约 23%，同时达到与 LSTM-ICNet 相似的性能，并在恶劣天气条件下大幅优于单分割方法。
引用
@article{arxiv.2007.00290,
title = {Robust Semantic Segmentation in Adverse Weather Conditions by means of Fast Video-Sequence Segmentation},
author = {Andreas Pfeuffer and Klaus Dietmayer},
journal= {arXiv preprint arXiv:2007.00290},
year = {2020}
}