与有立场语言模型共同写作影响用户观点
人机交互
2023-02-02 v1 人工智能
计算与语言
摘要
如果像 GPT-3 这样的大型语言模型偏好产生特定观点，它们可能在未知规模上影响人们的意见。本研究调查了生成某些观点频率高于其他观点的语言模型驱动写作助手是否会影响用户所写内容及其想法。在一项在线实验中，我们要求参与者（N=1,506）写一篇讨论社交媒体是否对社会有益的帖子。处理组参与者使用配置为论证社交媒体对社会有益或有害的语言模型驱动写作助手。随后参与者完成了一项社交媒体态度调查，独立评判者（N=500）评估了他们写作中表达的观点。使用有立场语言模型影响了参与者写作中表达的观点，并改变了他们在后续态度调查中的观点。我们讨论了研究结果的更广泛影响，并主张内置在 AI 语言技术中的观点需要被更谨慎地监控和工程设计。
引用
@article{arxiv.2302.00560,
title = {Co-Writing with Opinionated Language Models Affects Users' Views},
author = {Maurice Jakesch and Advait Bhat and Daniel Buschek and Lior Zalmanson and Mor Naaman},
journal= {arXiv preprint arXiv:2302.00560},
year = {2023}
}