语言模型即服务：一种新范式及其挑战概述
人工智能
2023-12-01 v2 计算与语言
计算机与社会
摘要
目前一些最强大的语言模型是专有系统，仅可通过（通常受限的）网页或软件编程接口访问。这就是语言模型即服务（Language-Models-as-a-Service, LMaaS）范式。与开源模型那样可获得完整模型访问权限的情形不同，此类封闭语言模型在评估、基准测试和测试方面带来了特定挑战。本文有两个目标：一方面，我们阐明上述挑战如何阻碍LMaaS的可访问性、可复现性、可靠性和可信性。我们系统考察了因缺乏语言模型信息而在这四个方面产生的问题，对现有解决方案进行详细分析，提出若干审慎建议，并指明未来进展方向。另一方面，它作为关于当前主要LMaaS现有知识的综合性资源，对其接口所提供的许可与能力进行了综合概述。
引用
@article{arxiv.2309.16573,
title = {Language Models as a Service: Overview of a New Paradigm and its Challenges},
author = {Emanuele La Malfa and Aleksandar Petrov and Simon Frieder and Christoph Weinhuber and Ryan Burnell and Raza Nazar and Anthony G. Cohn and Nigel Shadbolt and Michael Wooldridge},
journal= {arXiv preprint arXiv:2309.16573},
year = {2023}
}