计算机视觉与自然语言处理模型公平性分析

机器学习（ML）算法在医疗、金融、教育和执法等多个领域发挥着关键决策作用。然而，这些系统中关于公平性和偏见的关注度日益增加，带来了重大的伦理和社会挑战。为应对这些挑战，本研究采用两大主要公平性库：微软的 Fairlearn 和 IBM 的 AIF360。这些库提供了全面的公平性分析框架，提供工具来评估公平性指标、可视化结果并实施偏见缓解算法。本研究聚焦于使用计算机视觉（CV）和自然语言处理（NLP）模型处理非结构化数据集中的偏见。主要目标是呈现两种公平性库中缓解算法性能的比较分析。这一分析涉及分别在机器学习生命周期的一个阶段（预处理、内处理或后处理）中逐一应用这些算法，或在多个阶段顺序应用。结果表明，某些顺序应用通过有效减少偏见而保持模型性能，进而提高缓解算法的性能。选取了来自 Kaggle 的公开数据集，为在实际机器学习工作流程中评估公平性提供了实用背景。