面向主观推断的机器学习模型评测设计：以句子毒性为例

机器学习（ML）正日益应用于现实场景，引发了关于自动决策中偏见的担忧。我们关注偏见作为一种意见排除的概念，它源于直接将传统ML流程用于推断主观属性。我们认为此类ML系统应在评测时考虑主观性与偏见。鉴于尚缺乏评测标准以创建评测基准，我们提出一份在创建评测数据集前需定义的规范初表，以便后续准确评测偏见。以句子毒性推断系统为例，我们说明了这些规范如何支持分析与主观性相关的偏见。我们强调了落实这些规范的困难，并列出众包社区助力创建恰当评测数据集的未来工作。