Casual Conversations v2:设计大型知情同意驱动数据集以度量算法偏差与鲁棒性
计算机视觉与模式识别
2022-11-14 v1 人工智能
计算与语言
计算机与社会
摘要
开发鲁棒且公平的 AI 系统需要带有全面标签集合的数据集,以帮助确保相关度量的有效性与合法性。因此,近期工作聚焦于收集带有精心选定标签(包括敏感特征)且具备同意书、可将这些属性用于模型测试与开发的与人相关的数据集。负责任的数据收集涉及若干阶段,包括但不限于确定用例场景、选择类别(标注)以使数据适用于度量子群体的算法偏差之目的,以及最为重要的是确保所选类别/子类别对地区多样性具有鲁棒性并尽可能包容众多子群体。Meta 在延续我们度量 AI 算法偏差与鲁棒性的努力(https://ai.facebook.com/blog/shedding-light-on-fairness-in-ai-with-a-new-data-set)中,正着手收集一个带有全面类别清单的大型知情同意驱动数据集。本文描述了我们为 Casual Conversations v2 所提出的此类类别与子类别的设计。
引用
@article{arxiv.2211.05809,
title = {Casual Conversations v2: Designing a large consent-driven dataset to measure algorithmic bias and robustness},
author = {Caner Hazirbas and Yejin Bang and Tiezheng Yu and Parisa Assar and Bilal Porgali and Vítor Albiero and Stefan Hermanek and Jacqueline Pan and Emily McReynolds and Miranda Bogen and Pascale Fung and Cristian Canton Ferrer},
journal= {arXiv preprint arXiv:2211.05809},
year = {2022}
}