基于语言增强的自动驾驶中类分布检测的潜在表示

类分布（OOD）检测是自动驾驶中必不可少的技术，用于确定基于学习的组件是否遇到意外输入。传统检测器通常使用固定设置的编码器模型，因而缺乏有效的人类交互能力。随着大型基础模型的兴起，多模态输入为以人类语言作为潜在表示提供了可能，从而实现语言定义的OD检测。本文使用由CLIP等多模态模型编码的图像和文本表示的余弦相似度作为新的表示方法，以提高用于视觉异常检测的潜在编码的透明度和可控性。我们将方法与只能产生对用户而言毫无意义的潜在表示的现有预训练编码器进行比较。我们在真实驾驶数据上的实验表明，语言基表示优于传统的视觉编码器表示，并在与标准表示组合使用时有助于提高检测性能。