面向鱼眼城市驾驶图像的通用语义分割

语义分割是自动驾驶领域中的一项关键方法。在执行语义图像分割时，更宽的视场角（FoV）有助于获取更多关于周围环境的信息，使自动驾驶更安全可靠，而这可由鱼眼相机提供。然而，大型公开鱼眼数据集尚不可用，且由大视场角鱼眼相机捕获的鱼眼图像具有较大畸变，因此常用的语义分割模型无法直接利用。本文提出一种七自由度（DoF）增强方法，以更全面的方式将直线图像转换为鱼眼图像。在训练过程中，将直线图像以七自由度变换为鱼眼图像，模拟不同位置、朝向和焦距的相机所拍摄的鱼眼图像。结果表明，使用七自由度增强进行训练可提高模型对不同畸变鱼眼数据的准确性和鲁棒性。该七自由度增强为不同自动驾驶应用中的鱼眼相机提供了通用语义分割解决方案。此外，我们给出了针对自动驾驶的增强具体参数设置。最后，我们在真实鱼眼图像上测试了我们的通用语义分割模型并获得了令人满意的结果。代码和配置已发布于 https://github.com/Yaozhuwa/FisheyeSeg。