DiffPrompter：面向恶劣条件下语义分割的可微隐式视觉提示
计算机视觉与模式识别
2024-03-28 v2 机器人学
摘要
恶劣天气场景下的语义分割是自动驾驶系统的关键任务。尽管基础模型已展现出潜力，但面对更具挑战性的场景，专门适配器的需求日益凸显。我们提出DiffPrompter，一种新颖的可微视觉与隐空间提示机制，旨在扩展基础模型中现有适配器的学习能力。我们提出的∇HFC图像处理模块在恶劣气象条件下表现尤为出色，而传统方法往往在此类条件下力有不逮。此外，我们探究了联合训练视觉提示与隐空间提示的优势，证明这种组合方法能显著提升分布外场景下的性能。我们的可微视觉提示利用并行与串行架构生成提示，有效改善了恶劣条件下的目标分割任务。通过一系列全面的实验与评估，我们提供了支持本方法有效性的经验证据。项目主页：https://diffprompter.github.io。
引用
@article{arxiv.2310.04181,
title = {DiffPrompter: Differentiable Implicit Visual Prompts for Semantic-Segmentation in Adverse Conditions},
author = {Sanket Kalwar and Mihir Ungarala and Shruti Jain and Aaron Monis and Krishna Reddy Konda and Sourav Garg and K Madhava Krishna},
journal= {arXiv preprint arXiv:2310.04181},
year = {2024}
}