关于研究中利用黑盒API进行毒性评估的挑战
计算与语言
2023-04-26 v1 人工智能
摘要
毒性的感知随时间演变，且常因地域和文化背景而异。类似地，用于检测毒性的黑盒商业可用API（如Perspective API）并非静态，而是频繁重新训练以处理任何未被关注的弱点和偏见。我们评估了这些变更对比较旨在抑制毒性的模型与方法相对优点的研究结论可重复性的影响。我们的发现表明，依赖继承的自动毒性分数来比较模型和技术的研究可能导致不准确的结果。使用API的最新版本对广受认可的动态基准HELM中的所有模型重新进行毒性评分，导致了广泛使用的基石模型排名的变化。我们建议在进行研究间直接比较时保持谨慎，并为随时间推移更结构化地评估毒性提出建议。代码和数据可在 https://github.com/for-ai/black-box-api-challenges 获取。
引用
@article{arxiv.2304.12397,
title = {On the Challenges of Using Black-Box APIs for Toxicity Evaluation in Research},
author = {Luiza Pozzobon and Beyza Ermis and Patrick Lewis and Sara Hooker},
journal= {arXiv preprint arXiv:2304.12397},
year = {2023}
}