人类还是机器？面向语音到语音交互的初步图灵测试

人类化对话智能体的追求长期以来受到图灵测试的指引。对于现代语音到语音（S2S）系统，一个关键且尚未回答的问题是：它们是否能像人类一样对话。为此，我们进行了首次针对S2S系统的图灵测试，收集了2,968个人类判断，对话来自9个最先进的S2S系统和28名人类参与者之间的对话。我们的结果给出了一个明确的发现：目前评估的任何S2S系统都未通过该测试，揭示了人类化程度存在显著差距。为诊断这一失败， 我们发展了18个人类化维度的细粒度分类法，并对收集的对话进行众包标注。我们的分析表明，瓶颈不在于语义理解，而是来自非语音特征、情感表达和对话人格。此外，我们发现即插即用的AI模型作为图灵测试裁判器表现不可靠。为此，我们提出了一个可解释模型，利用细粒度的人类化评分，实现准确且透明的人类与机器的判别，为自动人类化评估提供了强大工具。我们的工作为S2S系统建立了首个人类化评估，超越二元结果，实现详细诊断性见解，为对话式AI系统实现人类化改进铺平了道路。