WeatherNet：基于深度残差学习从街景图像识别天气与视觉条件
计算机视觉与模式识别
2019-10-23 v1
摘要
在特定时间与空间提取与天气和视觉条件相关的信息对于场景感知不可或缺，这强烈影响我们的行为，从在城市中步行，到骑自行车、驾驶汽车或自动驾驶辅助。尽管该主题十分重要，依赖深度学习和计算机视觉以统一方法检测天气与视觉条件的多标签并易于实际使用的机器智能尚未充分解决此问题。迄今所取得的成果多为局部模型，仅处理有限数量的标签，未覆盖天气与视觉条件的广泛谱。此外，天气与视觉条件常被单独处理。本文中，我们引入一种新颖框架，依靠深度学习和计算机视觉使用统一方法从街景图像自动提取该信息，且对处理图像无任何预定义约束。一个由四个深度卷积神经网络（CNN）模型组成的流水线，称为WeatherNet，基于使用ResNet50架构的残差学习进行训练，以提取各种天气与视觉条件，如用于时间检测的黎明/黄昏、白天与夜晚，用于光照条件的眩光，以及用于天气条件的晴朗、雨天、雪天和雾天。WeatherNet在从用户定义图像或视频流提取该信息方面表现出色，其用途不限于：自动驾驶车辆与驾驶辅助系统、行为追踪、安全相关研究，甚至可通过图像为决策者更好地理解城市。
引用
@article{arxiv.1910.09910,
title = {WeatherNet: Recognising weather and visual conditions from street-level images using deep residual learning},
author = {Mohamed R. Ibrahim and James Haworth and Tao Cheng},
journal= {arXiv preprint arXiv:1910.09910},
year = {2019}
}
备注
11 pages, 8 figures