面向 AI 服务可组合偏见评级的探讨
人工智能
2019-01-16 v2
摘要
当今，一股新的决策支持系统浪潮正通过使用 AI 服务构建，这些服务从数据（如文本和视频）中提取洞察，并将其纳入人在回路的辅助中。然而，正如我们期望人类合乎伦理，同样的期望也需要由日益被委托代为行事的自动化系统来满足。伦理行为的一个非常重要的方面是避免（有意的、感知到的或偶然的）偏见。当数据分布不足以代表人们想要建模和推理的自然现象时，就会出现偏见。如果 AI 服务仅被使用而非从零开发，由于训练数据集不可用，其可能存在的偏见行为难以检测和处理。在这种情况下，我们设想一个独立于 API 生产者或消费者的第三方评级机构，其拥有自己的一套有偏和无偏数据，且具有可定制分布。我们提出一种两步评级方法，生成表明 AI 服务是无偏补偿型、数据敏感偏见型还是偏见型的偏见评级。该方法也适用于组合服务。我们在文本翻译场景下实现该方法，并报告了有趣的结果。
引用
@article{arxiv.1808.00089,
title = {Towards Composable Bias Rating of AI Services},
author = {Biplav Srivastava and Francesca Rossi},
journal= {arXiv preprint arXiv:1808.00089},
year = {2019}
}
备注
6 pages, appeared in 2018 ACM/AAAI Conference on AI Ethics and Society (AIES 2018)