Fair-MoE：视觉语言模型中面向公平性的专家混合
计算机视觉与模式识别
2025-02-11 v1
摘要
公平性是医学伦理的基本原则。视觉语言模型 (VLM) 由于能够同时利用视觉和语言上下文，减少了对大型数据集的需求，并能执行复杂任务，在医疗领域显示出巨大潜力。然而，对 VLM 应用中公平性的探索仍然有限。在未对公平性进行全面分析的情况下应用 VLM，可能会引发对平等治疗机会的担忧，并削弱公众对医学深度学习模型的信任。为了建立对医学 VLM 的信任，我们提出了 Fair-MoE，一个专门为确保公平性和有效性而设计的模型。Fair-MoE 包含两个关键组件：\textit{面向公平性的专家混合 (FO-MoE)} 和 \textit{面向公平性的损失函数 (FOL)}。FO-MoE 旨在利用不同专家的专长来过滤掉有偏见的图像块嵌入，并使用集成方法提取与特定任务相关的更公平的信息。FOL 是一种新颖的面向公平性的损失函数，它不仅最小化不同属性之间的距离，还优化了各种属性分布离散度的差异。大量实验证明了 Fair-MoE 的有效性和公平性。在 Harvard-FairVLMed 数据集上测试，Fair-MoE 在所有四个属性上都显示出公平性和准确性的提升。代码将公开可用。
引用
@article{arxiv.2502.06094,
title = {Fair-MoE: Fairness-Oriented Mixture of Experts in Vision-Language Models},
author = {Peiran Wang and Linjie Tong and Jiaxiang Liu and Zuozhu Liu},
journal= {arXiv preprint arXiv:2502.06094},
year = {2025}
}