GPT-4V(ision) 对分布偏移的适应能力如何？一项初步调查
机器学习
2024-02-27 v3 人工智能
计算机视觉与模式识别
摘要
在机器学习中，针对分布偏移的泛化能力——即部署条件偏离训练场景的情况——至关重要，尤其是在气候建模、生物医学和自动驾驶等领域。基础模型以其广泛的预训练和任务通用性为特征，其出现引发了人们对它们对分布偏移适应能力的日益关注。GPT-4V(ision) 作为最先进的公开多模态基础模型，在异常检测、视频理解、图像生成和医疗诊断等多个领域有着广泛的应用。然而，其针对数据分布的鲁棒性在很大程度上尚未被探索。为了填补这一空白，本研究严格评估了 GPT-4V 在动态环境中的适应能力和泛化能力，并与 CLIP、LLaVA 和 Gemini 等著名模型进行了基准对比。我们深入探讨了 GPT-4V 在跨越自然、医学和分子领域的 13 个不同数据集上的零样本泛化能力。我们进一步研究了其对受控数据扰动的适应能力，并检验了上下文学习作为增强其适应性的工具的有效性。我们的发现描绘了 GPT-4V 在分布偏移下的能力边界，阐明了其在各种场景中的优势与局限性。重要的是，这项调查有助于我们理解 AI 基础模型如何泛化到分布偏移，为其适应性和鲁棒性提供了关键见解。代码公开于 https://github.com/jameszhou-gl/gpt-4v-distribution-shift。
引用
@article{arxiv.2312.07424,
title = {How Well Does GPT-4V(ision) Adapt to Distribution Shifts? A Preliminary Investigation},
author = {Zhongyi Han and Guanglin Zhou and Rundong He and Jindong Wang and Tailin Wu and Yilong Yin and Salman Khan and Lina Yao and Tongliang Liu and Kun Zhang},
journal= {arXiv preprint arXiv:2312.07424},
year = {2024}
}
备注
added the investigation of Gemini. 66 pages, 41 figures