多模态AI基于招聘的融合技术探索：来自FairCVdb的洞察
计算机与社会
2024-07-25 v1 计算与语言
计算机视觉与模式识别
机器学习
摘要
尽管关于公平性感知学习的大量工作已针对单个模态（如表格数据、图像和文本）进行，针对多模态数据的公平性和偏见影响的工作仍较少。本文在使用FairCVdb数据集探讨多模态AI基于招聘的融合技术时，考察了其公平性和偏见的影响。我们的结果显示，early-fusion在两人口统计特征上均接近ground truth，实现了最低的MAE，通过整合各模态的独特特征。相比之下，late-fusion导致高度泛化的平均得分和更高的MAE。我们的发现强调了即使在人口统计偏见存在的情况下，early-fusion在准确且公平的应用方面具有显著潜力，尤其是相对于late-fusion。未来的研究可以探索其他融合策略并纳入与模态相关的公平性约束以提高公平性。有关代码和额外见解，请访问：https://github.com/Swati17293/Multimodal-AI-Based-Recruitment-FairCVdb
引用
@article{arxiv.2407.16892,
title = {Exploring Fusion Techniques in Multimodal AI-Based Recruitment: Insights from FairCVdb},
author = {Swati Swati and Arjun Roy and Eirini Ntoutsi},
journal= {arXiv preprint arXiv:2407.16892},
year = {2024}
}