认知韧性：揭示图像描述模型解读被遮蔽视觉内容的能力
计算机视觉与模式识别
2024-03-26 v1 人工智能
摘要
本研究探讨了图像描述（IC）模型解码来自不同数据集的被遮蔽视觉内容的能力。我们的发现揭示了 IC 模型能够从被遮蔽的图像生成与原始内容高度相似的描述。值得注意的是，即使存在遮蔽，该模型也能熟练地生成超越原始图像生成描述中可观察信息的描述性文本信息。虽然 IC 模型的解码性能会随着遮蔽区域面积的增加而下降，但当图像的重要区域在高覆盖率下未被遮蔽时，该模型仍然表现良好。
引用
@article{arxiv.2403.15876,
title = {Cognitive resilience: Unraveling the proficiency of image-captioning models to interpret masked visual content},
author = {Zhicheng Du and Zhaotian Xie and Huazhang Ying and Likun Zhang and Peiwu Qin},
journal= {arXiv preprint arXiv:2403.15876},
year = {2024}
}
备注
Accepted as tiny paper in ICLR 2024