人类用于识别人工智能生成语言的启发式方法存在缺陷
计算与语言
2023-03-15 v4 人工智能
计算机与社会
人机交互
摘要
人类交流日益与人工智能生成的语言交织在一起。在聊天、电子邮件和社交媒体中，AI系统建议词语、补全句子或生成完整对话。AI生成的语言通常未被标识为如此，而是作为人类书写的语言呈现，这引发了关于新型欺骗和操纵的担忧。在此，我们研究人类如何辨别言语自我呈现（最私人且后果最严重的语言形式之一）是否由AI生成。在六项实验中，参与者（N = 4,600）无法检测由最先进AI语言模型在职业、接待和约会语境中生成的自我呈现。对语言特征的计算分析表明，人类对AI生成语言的判断受到直观但有缺陷的启发式方法的阻碍，例如将第一人称代词、缩略形式或家庭话题与人类书写的语言相关联。我们通过实验证明，这些启发式方法使人类对AI生成语言的判断可预测且可操纵，允许AI系统生成被视为“比人类更人类”的文本。我们讨论了诸如AI口音等解决方案，以降低AI生成语言的欺骗潜力，限制对人类直觉的颠覆。
引用
@article{arxiv.2206.07271,
title = {Human heuristics for AI-generated language are flawed},
author = {Maurice Jakesch and Jeffrey Hancock and Mor Naaman},
journal= {arXiv preprint arXiv:2206.07271},
year = {2023}
}