受控近似下视觉语言模型的洁净评估
计算机视觉与模式识别
2024-10-10 v1 计算与语言
摘要
如何在不受污染的条件下评估大型语言模型（LLM）已成为重要的研究时代，以真实报告可能受污染的LLM性能。然而，如何在洁净条件下评估视觉语言模型（VLM）仍是一个不够关注的问题。我们通过对视觉输入信息进行数据增强来实现此目标。我们随后构建了一个包含数千个数据实例的新的视觉洁净评估基准。通过大量实验，我们发现传统的视觉数据增强方法虽有用，但存在被用作训练数据规避的风险。我们进一步提出使用BGR增强来切换视觉信息的颜色通道。我们发现这是一种简单而有效的方法，可减少数据污染的影响，顺便对训练中的数据增强也有害。这意味着它很难被恶意训练者纳入训练，而且可能是洁净评估视觉LLM的有前景的技术。我们的代码、数据和模型权重将在出版后公开。
引用
@article{arxiv.2410.07030,
title = {Clean Evaluations on Contaminated Visual Language Models},
author = {Hongyuan Lu and Shujie Miao and Wai Lam},
journal= {arXiv preprint arXiv:2410.07030},
year = {2024}
}