揭示视觉文本风格对大视觉语言模型产生的基于属性的描述的影响
计算机视觉与模式识别
2026-05-01 v1
摘要
当考虑文本的视觉风格时，可以在字体、颜色和大小上观察到广泛的多样性。然而，当一个词被阅读时，其含义独立于它被书写或渲染的风格。在本文中，我们研究了图像中一个词的视觉化风格是否以及如何影响大视觉语言模型（LVLM）对该词所指概念提供的描述。具体来说，我们研究了功能性文本风格（面向可读性，例如，黑色无衬线体）与装饰性风格（面向展示，例如，彩色草书/手写体）如何影响 LVLM 根据该概念的属性对概念进行的描述。我们的实验研究了这样一种情况：LVLM 能够正确识别视觉文本（即，渲染为图像的一个或多个词）所指的概念，并且在这种情况下，视觉文本风格不应影响 LVLM 产生的基于属性的描述。我们的实验结果表明，即使概念被正确识别，文本风格也会影响模型对该概念基于属性的描述。我们的发现揭示了从文本风格到语义推理的非平凡风格泄露，并激励了对基于 LVLM 的多媒体系统进行风格感知的评估和缓解。
引用
@article{arxiv.2604.27553,
title = {Revealing the Impact of Visual Text Style on Attribute-based Descriptions Produced by Large Visual Language Models},
author = {Xiaomeng Wang and Martha Larson and Zhengyu Zhao},
journal= {arXiv preprint arXiv:2604.27553},
year = {2026}
}
备注
Accepted by ICMR 2026. Code is available at https://github.com/XiaomengWang-AI/The-Impact-of-Visual-Text-style-on-Attribute-based-Descriptions-Produced-by-LVLMs