ClearVision：基于 CycleGAN 与 SigLIP-2 实现交通摄像头全天候分类的鲁棒性
计算机视觉与模式识别
2025-09-30 v2 机器学习
摘要
恶劣天气条件挑战了安全交通，迫切需要从交通摄像头图像中实现鲁棒的实时天气检测。我们提出了一种新型框架，将 CycleGAN 基于域适应与高效对比学习相结合，以增强天气分类，尤其是在低光夜间条件下的鲁棒性。该方法利用轻量级 SigLIP-2 模型，采用成对 sigmoid loss 以降低计算需求，集成 CycleGAN 将夜间图像转换为类似白天的表示，同时保留天气线索。在评估了 Iowa 交通部数据集后，基准 EVA-02 模型配合 CLIP 在三个天气条件（无降雨、雨、雪）和昼夜整体准确率达 96.55%，但在昼夜之间呈现显著差距（白天 97.21% vs. 夜间 63.40%）。CycleGAN 后，EVA-02 提升至 97.01% 的类别整体准确率和 96.85% 的昼夜准确率，将夜间性能提升至 82.45%。我们的 Vision-SigLIP-2 + Text-SigLIP-2 + CycleGAN + 对比学习配置在夜间场景中表现最佳，实现最高的夜间准确率 85.90%，类别准确率 94.00%，昼夜准确率 93.35%。该模型较 EVA-02 将训练时间缩短 89%（从 6 小时缩短至 40 分钟），推理时间缩短 80%（从 15 秒缩短至 3 秒）。通过将昼夜性能差距从 33.81 个百分点缩小至 8.90 个百分点，我们的框架为利用现有摄像头基础设施实现全天候分类提供了可扩展且高效的解决方案。
引用
@article{arxiv.2504.19684,
title = {ClearVision: Leveraging CycleGAN and SigLIP-2 for Robust All-Weather Classification in Traffic Camera Imagery},
author = {Anush Lakshman Sivaraman and Kojo Adu-Gyamfi and Ibne Farabi Shihab and Anuj Sharma},
journal= {arXiv preprint arXiv:2504.19684},
year = {2025}
}