$\Delta$Energy：优化视觉语言对齐过程中的能量变化提升OOD检测与OOD泛化能力
计算机视觉与模式识别
2026-05-26 v3 机器学习
摘要
近期方法在视觉语言模型（VLM）上展现出在下游任务上实现快速适应的突破性成果。然而，实际应用中，VLM不可避免地会遇到既有分布（ID）数据和越域（OOD）数据。其中，OOD数据集常包含协变量漂移（例如已知类别在图像风格上的变化）和语义漂移（例如测试时未出现的类别）。这凸显了提高VLM对协变量漂移OOD数据的泛化能力，同时有效检测开放集语义漂移OOD类别的重要性。本文灵感来源于在闭合集数据上重新对齐视觉语言模态时所观察到的显著能量变化（具体而言，通过直接将最大余弦相似度降低到低值）——我们引入了一种新颖的OOD评分，称为{\Delta}Energy。{\Delta}Energy显著优于传统能量基方法，为ODD检测提供了更可靠的途径。此外，{\Delta}Energy还能同时提升协变量漂移下的ODD泛化能力，这通过对{\Delta}Energy进行下界最大化实现（称为EBM）。EBM在理论上被证明不仅增强ODD检测，还产生一致的Hessian，这作为ODD泛化的强指示器。基于此发现，我们开发了一个统一的微调框架，允许同时提高VLM在ODD泛化和ODD检测方面的鲁棒性。在挑战性的ODD检测与泛化基准上进行大规模实验，表明我们方法的优越性，在AUROC上可超过最新方法10%至25%。
引用
@article{arxiv.2510.11296,
title = {$\Delta \mathrm{Energy}$: Optimizing Energy Change During Vision-Language Alignment Improves both OOD Detection and OOD Generalization},
author = {Lin Zhu and Yifeng Yang and Xinbing Wang and Qinying Gu and Nanyang Ye},
journal= {arXiv preprint arXiv:2510.11296},
year = {2026}
}
备注
Accepted by NeurIPS2025