我们中间的LLM：生成式人工智能参与数字话语
人机交互
2024-02-14 v1 人工智能
计算机与社会
社会与信息网络
摘要
大语言模型（LLMs）的出现具有重塑许多社交媒体平台格局的巨大潜力。虽然这可以带来有希望的机会，但也引发了许多威胁，例如偏见和隐私问题，并可能助长恶意行为者传播宣传。我们在Mastodon社交媒体平台上开发了“我们中间的LLM”实验框架，供机器人和人类参与者进行交流，而无需知道机器人和人类参与者的比例或性质。我们使用三种不同的LLM（GPT-4、LLama 2 Chat和Claude）构建了10个人设。我们进行了三轮实验，并在每轮实验后对参与者进行调查，以衡量LLM在不被人类察觉的情况下冒充人类参与者的能力。我们发现，尽管参与者知道实验中同时存在机器人和人类，但他们正确识别其他用户性质的准确率仅为42%。我们还发现，人设的选择对人类感知的影响远大于主流LLM的选择。
引用
@article{arxiv.2402.07940,
title = {LLMs Among Us: Generative AI Participating in Digital Discourse},
author = {Kristina Radivojevic and Nicholas Clark and Paul Brenner},
journal= {arXiv preprint arXiv:2402.07940},
year = {2024}
}