MacBehaviour：用于大型语言模型行为实验的 R 软件包
计算与语言
2024-05-14 v1 人工智能
摘要
越来越多的人关注如何通过将大型语言模型（LLM）视为心理实验中的参与者来探讨其行为及其驱动的聊天机器人的行为。因此，我们开发了一个名为“MacBehaviour”的 R 软件包，旨在在一个软件包中与超过 60 个语言模型进行交互（例如 OpenAI 的 GPT 系列、Claude 系列、Gemini、Llama 系列以及开源模型），并简化 LLM 行为实验的实验流程。该软件包提供了一套全面的函数，专为 LLM 实验设计，涵盖实验设计、刺激呈现、模型行为操控、日志记录响应和 token 概率。为了演示“MacBehaviour”的实用性和有效性，我们对三个 LLM（GPT-3.5、Llama-2 7B 和 Vicuna-1.5 13B）进行了三个验证实验，以复制先前研究中展示的声音-性别关联。结果一致显示，这些模型表现出类似人类的倾向，即根据语音学推断新颁的个人姓名的性别，这一现象此前已被证实（Cai 等，2023）。总之，“MacBehaviour”是一个用于机器行为研究的 R 软件包，提供用户友好的界面和全面功能，以简化和标准化实验流程。
引用
@article{arxiv.2405.07495,
title = {MacBehaviour: An R package for behavioural experimentation on large language models},
author = {Xufeng Duan and Shixuan Li and Zhenguang G. Cai1},
journal= {arXiv preprint arXiv:2405.07495},
year = {2024}
}
备注
11 pages