探究 LLM 在人-AI 协作任务中的能动性
计算与语言
2024-02-09 v2
摘要
能动性（Agency），即主动塑造事件的能力，是人类交互与协作的核心。尽管 LLM 正被开发用于模拟人类行为并作为类人智能体，但人们很少关注这些模型应具备的、用以主动掌控交互与协作方向的能动性。本文中，我们研究能动性作为 LLM 的一种期望功能，以及它如何被度量与管理。我们基于社会认知理论构建了一个通过对话表达能动性的特征框架——表明你意图做什么（意向性 Intentionality）、动机化你的意图（动机 Motivation）、对意图有自我信念（自我效能 Self-Efficacy）、以及能够自我调节（自我调节 Self-Regulation）。我们收集了一个包含 83 段人-人协作室内设计对话的新数据集，含 908 个标注了能动性特征的对话片段。利用该数据集，我们开发了度量 LLM 能动性的方法。自动与人类评估表明，展现出与高意向性、动机、自我效能与自我调节相关特征的模型更可能被感知为具有强能动性。
引用
@article{arxiv.2305.12815,
title = {Investigating Agency of LLMs in Human-AI Collaboration Tasks},
author = {Ashish Sharma and Sudha Rao and Chris Brockett and Akanksha Malhotra and Nebojsa Jojic and Bill Dolan},
journal= {arXiv preprint arXiv:2305.12815},
year = {2024}
}
备注
EACL 2024