若无法检测欺骗？基于文本的欺骗检测极限的跨语言研究

仅从书面文本能否检测欺骗？欺骗性沟通线索本质上都很微妙，文本化沟通中的线索更是如此。然而，先前的研究报告称在自动化欺骗检测方面取得了相当大的成功。我们假设，这些发现很大程度上是由数据收集过程中引入的伪影所驱动，并且不能在特定数据集之外得到普遍化。我们通过引入基于信念的欺骗框架，定义欺骗为作者的主张与其真实信念之间的错位，无论事实准确性如何，从而允许独立地研究欺骗线索。基于此框架，我们构建了三个语料库，统称为 DeFaBel，包括一个德语欺骗与非欺骗论证语料库以及德语和英语的多语言版本，每个语料库在不同条件下收集，以消除信念变化并实现跨语言分析。使用这些语料库，我们评估了常被报道的欺骗语言线索。在所有三个 DeFaBel 变体中，这些线索与欺骗标签之间的相关性几乎可忽略且统计上无显著性，与先前将此类线索视为可靠指示器的研究结果恰恰相反。我们进一步对照遵循相似数据收集协议的其他英语欺骗数据集进行基准测试。虽然一些数据集显示出统计上的显著相关性，但效应大小仍然较低，且关键的是，预测线索在数据集之间的集合不一致。我们还评估了基于特征的模型、预训练语言模型和指令调校的大型语言模型。虽然一些模型在 established 欺骗数据集上表现良好，但在 DeFaBel 上始终表现接近随机。我们的发现挑战了从语言线索可靠推断欺骗的假设，呼吁重新思考如何在 NLP 中研究和建模欺骗。