中文

开放域问答中抵御虚假信息攻击的防御方法

计算与语言 2024-02-28 v3 信息检索

摘要

近期在开放域问答(ODQA)方面的研究表明,对检索语料的对抗性投毒会导致生产系统准确率大幅下降。然而,极少有工作提出抵御此类攻击的方法。为此,我们基于大型语料库中常存在冗余信息的直觉,引入一种利用查询扩充来检索多样化段落集合的方法,这些段落能够回答原问题,但被投毒的可能性较低。我们通过设计一种新颖的置信度方法——将预测答案与其在检索上下文中的出现情况进行比对(即我们所称的基于答案冗余的置信度,CAR)——将这些新段落整合进模型中。这些方法共同提供了一种简单而有效的抵御投毒攻击的手段,在不同程度的数据投毒/知识冲突下,精确匹配率提升近 20%。

关键词

引用

@article{arxiv.2212.10002,
  title  = {Defending Against Disinformation Attacks in Open-Domain Question Answering},
  author = {Orion Weller and Aleem Khan and Nathaniel Weir and Dawn Lawrie and Benjamin Van Durme},
  journal= {arXiv preprint arXiv:2212.10002},
  year   = {2024}
}

备注

Accepted to EACL 2024