提供解释且具有欺骗性的 AI 系统在与诚实 AI 系统的人机决策中同样具有说服力
计算机与社会
2022-10-18 v1
摘要
辨别真假信息的能力对于做出明智决策至关重要。然而,随着近期基于 AI 的虚假信息活动增多,理解欺骗性系统对人类信息加工的影响已变得关键。在实验(N=128)中,我们通过考察当人们将 AI 系统视为人类事实核查员或 AI 事实核查系统时,以及当这些核查员提供的解释具有欺骗性或诚实性时,他们辨别真实新闻与虚假新闻的能力如何变化,来研究人们对欺骗性 AI 系统的易感性。我们发现,欺诈性解释显著降低准确率,表明人们相信欺骗性 AI 解释的可能性与相信诚实 AI 解释的可能性一样高。尽管在获得 AI 系统协助前,人们对虚假标题的加权辨别准确率显著高于真实标题,但我们发现,在 AI 系统协助下,当给定诚实解释时,对真实和虚假标题的辨别准确率均显著提升,而当给定欺骗性解释时则均显著下降。此外,我们未观察到将解释视为来自人类事实核查员与来自 AI 事实核查员之间的辨别差异。类似地,我们发现信任方面也无显著差异。这些发现例证了欺骗性 AI 系统的危险,以及寻找新方法来限制其对人类信息加工影响的必要性。
引用
@article{arxiv.2210.08960,
title = {Deceptive AI Systems That Give Explanations Are Just as Convincing as Honest AI Systems in Human-Machine Decision Making},
author = {Valdemar Danry and Pat Pataranutaporn and Ziv Epstein and Matthew Groh and Pattie Maes},
journal= {arXiv preprint arXiv:2210.08960},
year = {2022}
}