视觉-语言模型中的社会偏见研究综述
计算与语言
2023-09-27 v1 人工智能
摘要
近年来，机器学习（ML）模型的快速发展，尤其是基于 transformer 的预训练模型，彻底改变了自然语言处理（NLP）和计算机视觉（CV）领域。然而，研究人员发现这些模型会无意中捕获并强化训练数据集中存在的社会偏见，从而导致潜在的社会危害，如资源分配不均和特定社会群体的不公平表征。解决这些偏见并确保人工智能（AI）系统的公平性已成为 ML 界的关键关切。在新兴的多模态领域中，近期引入的预训练视觉-语言（VL）模型同样需要关注其可能存在的潜在社会偏见。尽管 VL 模型易受社会偏见影响，但相较于 NLP 和 CV 中广泛的偏见讨论，人们对其理解仍然有限。本综述旨在为研究人员提供关于 NLP、CV 和 VL 中预训练模型社会偏见研究异同的高层次洞察。通过审视这些视角，本综述旨在就如何在单模态和多模态环境下应对并缓解社会偏见提供有价值的指导。本文提出的发现与建议可使 ML 界受益，促进各类应用与研究中更公平、无偏 AI 模型的发展。
引用
@article{arxiv.2309.14381,
title = {Survey of Social Bias in Vision-Language Models},
author = {Nayeon Lee and Yejin Bang and Holy Lovenia and Samuel Cahyawijaya and Wenliang Dai and Pascale Fung},
journal= {arXiv preprint arXiv:2309.14381},
year = {2023}
}