跨模态去偏：利用语言缓解成像中的子群体偏移
计算机视觉与模式识别
2024-04-03 v2 人工智能
摘要
子群体偏移是一种特定类型的域偏移，它突出了训练和测试之间特定子群体或人群内数据分布的变化。子群体偏移是算法偏差的一个重要来源，并要求分布鲁棒性。最近的研究发现，多模态基础模型（如视觉-语言模型 CLIP）具有固有的分布鲁棒性，但这种鲁棒性在参数微调时变得脆弱。在本文中，我们提出利用不同模态之间鲁棒性的联系，并用一种模态重塑另一种模态的分布鲁棒性。具体来说，在 CLIP 分布鲁棒性的背景下，我们提出利用自然语言输入对图像特征表示进行去偏，以提高子群体上的最差情况性能。我们广泛的实证研究表明，通过自然语言去偏的图像表示可以在子群体偏移下实现显著的性能提升和性能不稳定性降低。
引用
@article{arxiv.2403.07888,
title = {Cross-modality debiasing: using language to mitigate sub-population shifts in imaging},
author = {Yijiang Pang and Bao Hoang and Jiayu Zhou},
journal= {arXiv preprint arXiv:2403.07888},
year = {2024}
}