衡量正确的事物：论证 AI 影响评估中的指标
计算机与社会
2025-04-08 v1 人工智能
新兴技术
摘要
AI 影响评估的好坏取决于用于评估这些系统影响的衡量指标。因此，在这些评估中，我们能够论证所选指标的合理性至关重要，特别是对于难以量化的伦理和社会价值。我们提出了一种两步法以确保指标具有充分的动机支撑。首先，需要明确阐述一个概念（例如罗尔斯式公平或作为团结的公平），然后可以将一个指标与该概念相拟合。这两个步骤都需要独立的论证，因为可以通过概念与例如公平的功能的契合程度来评判概念本身。我们认为概念工程为这一步骤提供了有用的工具。其次，需要将指标与概念相拟合。我们通过对竞争性公平指标的考察来说明这一过程，以表明在此概念所提供的额外内容有助于我们论证选择特定指标的理由。因此，我们主张影响评估不仅应明确其指标，还应明确激发这些指标的概念。
引用
@article{arxiv.2504.05007,
title = {Measuring the right thing: justifying metrics in AI impact assessments},
author = {Stefan Buijsman and Herman Veluwenkamp},
journal= {arXiv preprint arXiv:2504.05007},
year = {2025}
}
备注
Accepted for publication in Global Perspectives on AI Impact Assessment (Oxford University Press, forthcoming). Pre-publication version; final version will be available from the publisher