论述大语言模型巫师：识别巫师的 Oz 实验中的大语言模型行为
人机交互
2024-07-12 v1 人工智能
摘要
巫师的 Oz (WoZ) 方法是广泛采用的研究方法，其中人类巫师“角色扮演”一种难以获得技术，并与参与者交互以引导用户行为并探索设计空间。随着现代大语言模型 (LLM) 角色扮演能力的提升，一种更具可扩展性和低成本的方法是将 LLM 作为 WoZ 实验中的巫师。然而，缺乏对负责任地将 LLM 应用于 WoZ 实验的实用方法性指导，以及对 LLM 角色扮演能力的系统评估。本文通过两项 LLM 驱动的 WoZ 研究，首次为研究人员识别将 LLM 安全集成到 WoZ 实验中并解释涉及 LLM 角色扮演巫师的设置生成数据的实验生命周期。我们还贡献了一个基于启发式的评估框架，允许估计 LLM 在 WoZ 实验中的角色扮演能力，并揭示了 LLM 在大规模情境下的行为模式。
引用
@article{arxiv.2407.08067,
title = {On LLM Wizards: Identifying Large Language Models' Behaviors for Wizard of Oz Experiments},
author = {Jingchao Fang and Nikos Arechiga and Keiichi Namaoshi and Nayeli Bravo and Candice Hogan and David A. Shamma},
journal= {arXiv preprint arXiv:2407.08067},
year = {2024}
}
备注
To be published in ACM IVA 2024