闯入 LAION 的巢穴：多模态数据集中的仇恨内容调查
计算机与社会
2023-11-08 v1
摘要
“扩大模型规模、扩大数据规模、扩大算力规模”是当今生成式 AI 世界的主导情绪。虽然模型缩放的影响已被广泛研究，我们才刚刚开始触及数据缩放及其后果的表层。这在 LAION 等视觉-语言数据集的背景下尤为关键。这些数据集的规模持续增长，并基于 Common Crawl 等大规模互联网转储构建，而后者已知存在从质量、合法性到内容多方面的诸多缺陷。这些数据集随后作为大型生成模型的主干，助长并延续了有害的社会与历史偏见及刻板印象。在本文中，我们通过对比审计两个数据集 LAION-400M 和 LAION-2B，研究数据集缩放对仇恨内容的影响。我们的结果显示，随着数据集规模扩大，仇恨内容增加了近 12%，这通过我们称之为仇恨内容率（HCR）的指标在定性与定量上均得到度量。我们还发现，仅基于图像计算的不可在工作场所浏览（NSFW）值来过滤数据集内容，并不能排除 alt-text 中的所有有害内容。相反，我们发现即使进行保守过滤，仍有微量的仇恨性、针对性及攻击性文本残留。我们以反思作结，并讨论了我们的结果对 AI 社区中数据集整理与使用的意义。本文整理的代码与元数据资源公开于 https://github.com/vinayprabhu/hate_scaling。内容警告：本文包含可能令人不安、痛苦和/或冒犯的仇恨文本示例。
引用
@article{arxiv.2311.03449,
title = {Into the LAIONs Den: Investigating Hate in Multimodal Datasets},
author = {Abeba Birhane and Vinay Prabhu and Sang Han and Vishnu Naresh Boddeti and Alexandra Sasha Luccioni},
journal= {arXiv preprint arXiv:2311.03449},
year = {2023}
}
备注
To appear at 37th Conference on Neural Information Processing Systems (NeurIPS 2023) Datasets and Benchmarks Track. arXiv admin note: substantial text overlap with arXiv:2306.13141