用于缓解视觉语言模型幻觉的一次性优化引导向量
计算机视觉与模式识别
2026-02-02 v1
摘要
视觉语言模型(VLM)在多模态任务上取得了强劲性能，但仍然存在幻觉和与安全相关的失败，这些问题即使在规模扩大后依然存在。引导提供了一种轻量级技术来改进模型性能。然而，无论是输入依赖还是输入无关的引导，都在效率和有效性之间实现了有意义的权衡。在这项工作中，我们观察到当任务共享对齐的语义意图时，引导向量可以跨输入泛化。基于这一见解，我们提出**OSGA**（**O**ne-shot **S**teering with **G**enerative **A**nchor，基于生成锚点的一次性引导），一个输入无关的框架，通过单个优化实例来改进模型性能。OSGA首先通过基于方差的数据选择策略选择一个信息丰富的样本，并通过带有生成锚点正则化的对比目标学习单个引导向量。得到的向量可以在推理时普遍应用于特定层，而无需修改模型参数。跨多个基准的实验表明，单个OSGA优化的引导向量能够以可忽略的开销持续改善幻觉缓解和安全性增强，突显了一次性引导作为可靠VLM的实用且可扩展的解决方案。
引用
@article{arxiv.2601.23041,
title = {One-shot Optimized Steering Vector for Hallucination Mitigation for VLMs},
author = {Youxu Shi and Suorong Yang and Dong Liu},
journal= {arXiv preprint arXiv:2601.23041},
year = {2026}
}