人类还是机器？一种图灵测试的游戏化方法
人工智能
2023-06-01 v1 计算与语言
计算机与社会
人机交互
摘要
我们提出“Human or Not?”，一个受图灵测试启发的在线游戏，用于衡量 AI 聊天机器人在对话中模仿人类的能力，以及人类区分机器人与其他人类的能力。在一个月的时间里，超过 150 万用户游玩了该游戏，他们与另一个人或被提示表现得像人类的 AI 语言模型进行匿名的两分钟聊天会话。玩家的任务是正确猜测他们是在与人还是与 AI 交谈。这一迄今最大规模的图灵式测试揭示了一些有趣的事实。例如，总体上用户仅在 68% 的游戏中正确猜出了伙伴的身份。在用户面对 AI 机器人的游戏子集中，用户的正确猜测率更低，为 60%（即仅比随机略高）。本白皮书详述了这一独特实验的开发、部署与结果。尽管该实验尚需许多扩展与改进，这些发现已开始揭示人类与 AI 必然交融的不远未来。
引用
@article{arxiv.2305.20010,
title = {Human or Not? A Gamified Approach to the Turing Test},
author = {Daniel Jannai and Amos Meron and Barak Lenz and Yoav Levine and Yoav Shoham},
journal= {arXiv preprint arXiv:2305.20010},
year = {2023}
}
备注
11 pages, 6 figures