BiasICL：视觉语言模型的上下文学习与人口统计学偏差
计算机视觉与模式识别
2025-03-05 v1 人工智能
摘要
视觉语言模型（VLM）在医学诊断中展现出前景，但其在使用上下文学习（ICL）时跨人口统计学亚组的性能仍知之甚少。我们研究了示例的人口统计学组成如何影响 VLM 在两项医学成像任务中的性能：皮肤病变恶性预测和胸部 X 光片气胸检测。我们的分析揭示了 ICL 通过多种机制影响模型预测：（1）ICL 允许 VLM 从提示中学习特定亚组的疾病基础率，以及（2）ICL 导致 VLM 做出的预测在不同人口统计学群体中表现不同，即使在控制了特定亚组的疾病基础率之后也是如此。我们的实证结果为当前 VLM 的提示提供了最佳实践（特别是检查人口统计学亚组性能，并在整体和亚组内将标签的基础率与目标分布相匹配），同时也为增进对这些模型的理论理解提出了下一步建议。
引用
@article{arxiv.2503.02334,
title = {BiasICL: In-Context Learning and Demographic Biases of Vision Language Models},
author = {Sonnet Xu and Joseph Janizek and Yixing Jiang and Roxana Daneshjou},
journal= {arXiv preprint arXiv:2503.02334},
year = {2025}
}