生成式视觉语言模型对语义和词汇被修改提示的敏感性
计算机视觉与模式识别
2024-10-18 v1 计算与语言
机器学习
摘要
尽管 prompt-tuning 技术在生成式视觉语言模型（VLM）中取得了显著进展，但这些模型对提示中词汇和语义变更的敏感性尚不明确。在本文中，我们使用 SugarCrepe++ 数据集评估生成式 VLM 理解提示中词汇和语义变更的能力。我们分析了 VLM 对无语义变更下词汇变更提示的敏感性。我们的发现表明，生成式 VLM 对此类变更极其敏感。此外，我们进一步表明，这种脆弱性影响了旨在实现一致性的技术性能。
引用
@article{arxiv.2410.13030,
title = {Sensitivity of Generative VLMs to Semantically and Lexically Altered Prompts},
author = {Sri Harsha Dumpala and Aman Jaiswal and Chandramouli Sastry and Evangelos Milios and Sageev Oore and Hassan Sajjad},
journal= {arXiv preprint arXiv:2410.13030},
year = {2024}
}