MultiFair：面向多模态医学分类的平衡公平性方法及双层梯度调制

医疗决策系统日益依赖来自多个来源的数据以确保可靠且无偏的诊断。然而，现有的多模态学习模型往往未能实现这一目标，因为它们常常忽视两个关键挑战：首先，各种数据模态可能学习不均，导致模型偏向某些模态；其次，模型可能在某些人口统计群体上强调学习，从而引发不公平的性能表现。这两个方面可以相互影响，因为不同的数据模态可能在优化过程中偏向各自所属的群体，导致多模态学习既不平衡又不公平。本文提出一种新方法，称为MultiFair，用于多模态医学分类，通过双层梯度调制过程来解决上述挑战。MultiFair在数据模态层面和群体层面动态调制训练梯度的优化方向和幅度。我们在具有不同人口统计群体的两个多模态医学数据集上进行了大量实验。结果表明，MultiFair在性能上优于最先进的多模态学习和公平性学习方法。