通过注入错误信息攻击开放域问答系统
计算与语言
2023-09-21 v3 人工智能
摘要
随着宣传、新闻和社交媒体中虚假、不准确和误导性信息的增多，现实世界的问答（QA）系统面临着在受错误信息污染的上下文中进行综合与推理以得出正确答案的挑战。这种紧迫性使得让QA系统对错误信息具有鲁棒性的需求应运而生，这是一个此前未被探索的课题。我们通过研究开放域QA模型对包含错误信息文档的语料库污染的敏感性，来探究错误信息对QA模型的风险。我们整理了人工编写和模型生成的虚假文档，并将其注入QA模型的证据语料库，评估这些系统性能受到的影响。实验表明，QA模型即使面对少量由错误信息带来的证据污染也十分脆弱，所有模型的绝对性能均出现大幅下降。当虚假文档由神经模型大规模生成，或攻击者针对性地攻击特定感兴趣的问题时，错误信息攻击会带来更大的威胁。为了防御这种威胁，我们讨论了构建一个以联合方式集成问答与错误信息检测功能的、具有错误信息感知能力的QA系统的必要性。
引用
@article{arxiv.2110.07803,
title = {Attacking Open-domain Question Answering by Injecting Misinformation},
author = {Liangming Pan and Wenhu Chen and Min-Yen Kan and William Yang Wang},
journal= {arXiv preprint arXiv:2110.07803},
year = {2023}
}
备注
AACL-IJCNLP 2023 (main conference, long paper)