多模态复合关联分数：生成式多模态模型中的性别偏见度量
摘要
基于扩散模型的生成式多模态模型近年来取得了巨大增长与进展。诸如DALL-E和Stable Diffusion等模型在从文本（常结合抽象概念）创建图像方面日益流行且成功。然而，与其他深度学习模型一样，它们也反映了从训练数据（通常爬取自互联网）中继承的社会偏见。人工审计模型偏见可能非常耗费时间与资源，且因这些模型可接受的输入具有无界且无约束的特性而更趋复杂。关于偏见度量与量化的研究通常聚焦于处理单一模态的小型单阶段模型。因此，多阶段多模态模型的出现需要一种不同的方法。本文中，我们提出多模态复合关联分数(Multimodal Composite Association Score, MCAS)作为一种度量生成式多模态模型中性别偏见的新方法。使用该方法对DALL-E 2和Stable Diffusion的评估揭示了模型内嵌概念存在性别化关联。我们提出MCAS作为一种可访问且可扩展的、用于量化具有不同模态及一系列潜在偏见的模型之潜在偏见的方法。
引用
@article{arxiv.2304.13855,
title = {Multimodal Composite Association Score: Measuring Gender Bias in Generative Multimodal Models},
author = {Abhishek Mandal and Susan Leavy and Suzanne Little},
journal= {arXiv preprint arXiv:2304.13855},
year = {2023}
}
备注
This preprint has not undergone peer review or any post-submission improvements or corrections. The Version of Record of this contribution has been accepted at the Fourth International Workshop on Algorithmic Bias in Search and Recommendation held as a part of the 45th European Conference on Information Retrieval (ECIR 2023) and will be published soon