迈向公开可问责的前沿大语言模型：在 ASPIRE 框架下构建外部审查生态系统
计算机与社会
2023-11-28 v1 人工智能
摘要
随着前沿大语言模型（LLMs）在社会和经济中的日益融合，与其训练、部署和使用相关的决策具有深远影响。这些决策不应仅由前沿 LLM 开发者掌控。LLM 用户、公民社会和政策制定者需要可信的信息来源，以引导此类决策向更好的方向发展。让外部行动者通过红队测试、审计和外部研究者访问参与这些系统的评估——我们称之为“外部审查”——提供了一种解决方案。尽管有令人鼓舞的迹象表明对前沿 LLM 的外部审查正在增加，但其成功并无保证。在本文中，我们调查了有效外部审查前沿 AI 系统的六项要求，并将其组织在 ASPIRE 框架下：访问（Access）、搜寻态度（Searching attitude）、与风险相称（Proportionality to the risks）、独立性（Independence）、资源（Resources）和专业知识（Expertise）。随后我们阐释了外部审查如何在 AI 生命周期中运作，并为政策制定者提供建议。
引用
@article{arxiv.2311.14711,
title = {Towards Publicly Accountable Frontier LLMs: Building an External Scrutiny Ecosystem under the ASPIRE Framework},
author = {Markus Anderljung and Everett Thornton Smith and Joe O'Brien and Lisa Soder and Benjamin Bucknall and Emma Bluemke and Jonas Schuett and Robert Trager and Lacey Strahm and Rumman Chowdhury},
journal= {arXiv preprint arXiv:2311.14711},
year = {2023}
}
备注
Accepted to Workshop on Socially Responsible Language Modelling Research (SoLaR) at the 2023 Conference on Neural Information Processing Systems (NeurIPS 2023)