评估语言模型人物特征
计算与语言
2024-10-08 v1
摘要
语言模型 (LM) 能表现出类人行为，但不清�如何在不过度拟人化的情况下描述这种行为。我们形式化了一种行为主义视角下的 LM 人物特征：诸如诚实性、顺从性或连贯信念与意图等品质，这些特征可能以行为模式的形式呈现。我们的理论基于对 LM 表现出不同人物特征的实证演示，例如准确且逻辑连贯的信念，以及有帮助且无害的意图。我们发现 LM 表现出某些人物特征的一致性随模型规模、微调和提示而变化。除了刻画 LM 人物特征之外，我们还评估了这些特征在交互过程中如何发展。我们发现诸如诚实性和有害性等特征在特定情境下可能是稳态的，即在交互期间保持一致，但在不同情境下可能是反映性的，即它们反映该 LM 前一交互的行为。我们的形式主义使我们能够以直观语言精确描述 LM 的行为，避免过度拟人化。
引用
@article{arxiv.2410.04272,
title = {Evaluating Language Model Character Traits},
author = {Francis Rhys Ward and Zejia Yang and Alex Jackson and Randy Brown and Chandler Smith and Grace Colverd and Louis Thomson and Raymond Douglas and Patrik Bartak and Andrew Rowan},
journal= {arXiv preprint arXiv:2410.04272},
year = {2024}
}
备注
accepted as Findings of EMNLP2024