填充痕迹如何传播至语言？
计算机视觉与模式识别
2026-02-25 v1 人工智能
摘要
我们研究了基于扩散的填充技术引入的视觉痕迹如何影响视觉语言模型中的语言生成。我们采用两阶段诊断性设置，其中屏蔽的图像区域被重建，然后提供给描述模型，以实现对原始输入和重建输入生成的描述之间的受控比较。跨多个数据集，我们分析了重建保真度与下游描述质量之间的关系。我们观察到，像素级和感知重建指标与词汇和语义描述性能之间存在一致的关联。对中间视觉表征和注意力模式的额外分析表明，填充痕迹导致模型行为在层面上发生系统性、取决于层数的变化。总而言之，这些结果为检查视觉重建质量如何影响多模态系统中的语言生成提供了实用性的诊断框架。
引用
@article{arxiv.2602.20520,
title = {How Do Inpainting Artifacts Propagate to Language?},
author = {Pratham Yashwante and Davit Abrahamyan and Shresth Grover and Sukruth Rao},
journal= {arXiv preprint arXiv:2602.20520},
year = {2026}
}