机器学习模型拥有能力意味着什么

当代机器学习（ML）模型能做什么？鉴于 ML 模型在社会中的激增，回答这个问题对各类公私利益相关者都至关重要。模型能力的评估正迅速成为现代 ML 的一个关键子领域，并受到监管关注和政府拨款的推动。尽管如此，ML 模型拥有能力这一概念尚未受到深入审视：当我们说一个模型能够做某事时，我们究竟在表达什么？哪些证据与这一问题相关？在本文中，我们旨在回答这些问题，并以大语言模型（LLM）的能力作为贯穿全文的示例。借鉴关于能力的大量哲学文献，我们发展了一种 ML 模型能力的解释，该解释可有益地应用于新兴的模型评估科学。我们的核心提议是模型能力的条件分析（CAMA）：粗略地说，一个机器学习模型拥有做 X 的能力，当且仅当它如果“尝试”做 X 时会可靠地成功。本文的主要贡献是在 ML 的背景下使这一提议精确化，从而产生适用于 LLM 的 CAMA 操作化。随后我们应用 CAMA，表明它可以帮助理解 ML 模型评估实践的各种特征，并建议执行公平的模型间比较的程序。