再见 Perspective API:NLP、CSS 与 LLM 评估中测量基础设施的经验教训
计算与语言
2026-04-29 v1
摘要
Perspective API 将于 2026 年底关闭,这将使在 NLP、CSS 和 LLM 评估研究中作为事实上的自动化毒性测量标准的工具不复存在。我们记录了相关学术社区对该单一专有工具所建立的结构性依赖,并讨论了这种依赖如何引发认识论问题,从而影响——且可能继续影响——集体研究工作。Perspective 的模型定期更新但无版本控制或信息披露,其标注结构反映了对某一有争议概念的单一企业化操作化定义,且其分数被同时用作评估目标和评估标准。它的关闭留下了不可更新的基准、不可复现的结果,最终使该领域面临通过转向闭源 LLM 而使这些问题长期存在的风险。我们以 Perspective 宣布终止为契机,呼吁建立独立、有效、适应性强且可复现的毒性与仇恨言论测量基础设施,并在本文中概述了其技术与治理要求。
引用
@article{arxiv.2604.25580,
title = {Bye Bye Perspective API: Lessons for Measurement Infrastructure in NLP, CSS and LLM Evaluation},
author = {David Hartmann and Manuel Tonneau and Angelie Kraft and LK Seiling and Dimitri Staufer and Pieter Delobelle and Jan Fillies and Anna Ricarda Luther and Jan Batzner and Mareike Lisker},
journal= {arXiv preprint arXiv:2604.25580},
year = {2026}
}
备注
13 pages, 1 figure, 1 table