视觉语言基础模型是否展现出鲁棒的视觉感知？
计算机视觉与模式识别
2024-08-14 v1
摘要
视觉语言基础模型的最新进展使得能够开发能够执行视觉理解和推理任务的系统。然而，尚不清楚这些模型是否对分布偏移具有鲁棒性，以及它们的性能和泛化能力如何在数据分布变化下有所不同。在本项目中，我们努力回答"视觉语言基础模型是否像人类感知一样对分布偏移具有鲁棒性？"具体而言，我们考虑了多样化的视觉语言模型，并比较了这些系统的性能如何受到基于损坏的分布偏移（如运动模糊、雾、雪、高斯噪声）的影响，这些偏移常见于实际现实场景中。我们在零样本图像分类任务上对上述分布偏移进行了定性和定量的泛化能力分析。我们的代码将在 https://github.com/shivam-chandhok/CPSC-540-Project 上提供。
引用
@article{arxiv.2408.06781,
title = {Do Vision-Language Foundational models show Robust Visual Perception?},
author = {Shivam Chandhok and Pranav Tandon},
journal= {arXiv preprint arXiv:2408.06781},
year = {2024}
}
备注
UBC Report