eyewitness 证词中的不一致性识别
计算与语言
2025-02-11 v1
摘要
eyewitness 叙述中的不一致性检测对于理解证词的可靠性至关重要,但传统方法往往无法解决此类叙述所固有的细微不一致问题。本文提出一种 eyewitness 证词中不一致性检测的新任务。给定包含两个主体多个问题-答案对的证词对,我们识别两个主体之间上下文相关的不一致性。我们还标记了不一致性在语句中的片段。为实现此目标,我们开发了 MIND (MultI-EyewitNess Deception) - 一个包含 2927 对上下文相关答案的综合数据集,用于捕捉显性和隐性矛盾。基于 6W 多跳推理的 INstruction - TunEd iNcongruity Detection 框架,即 INTEND。drawing from investigative techniques, INTEND 将任务视为一种 close-style problem, contradicting on the who, what, when, where and why aspect of the content. 我们的发现表明,特别是利用我们的框架进行提示调谋,可提高不一致性检测的水平,提升了 +5.63 个百分点。我们将我们的做法与多种微调和提示调谋技术在 MLMs 和 LLMs 上进行比较。实证结果显示,我们的方法在 F1 分数上显著优于微调和常规提示调谋技术,凸显了该方法的有效性。
关键词
引用
@article{arxiv.2502.05650,
title = {Incongruence Identification in Eyewitness Testimony},
author = {Akshara Nair and Zeba Afroz and Md Shad Akhtar},
journal= {arXiv preprint arXiv:2502.05650},
year = {2025}
}
备注
9 pages,10 tables. Under review at ACL ARR 2024. Includes supplementary appendix with detailed evaluation results