论知识图谱推理的安全风险
密码学与安全
2023-06-23 v2 人工智能
摘要
知识图谱推理（KGR）——在大规模知识图谱上回答复杂逻辑查询——是一项重要的人工智能任务，涵盖一系列应用（如网络威胁狩猎）。然而，尽管其日益流行，KGR的潜在安全风险在很大程度上未被探索，考虑到此类能力在安全关键领域中的使用不断增加，这令人担忧。本工作是弥合这一显著差距的坚实初步步骤。我们根据攻击者的目标、知识和攻击向量对KGR的安全威胁进行了系统化分类。此外，我们提出ROAR，一类实例化多种此类威胁的新攻击。通过在代表性用例（如医疗决策支持、网络威胁狩猎和常识推理）中的实证评估，我们证明ROAR能高度有效地误导KGR为目标查询建议预定义答案，同时对非目标查询影响可忽略。最后，我们探索了针对ROAR的潜在对策，包括过滤可能投毒的知识以及用对抗增强查询进行训练，这引出了若干有前景的研究方向。
引用
@article{arxiv.2305.02383,
title = {On the Security Risks of Knowledge Graph Reasoning},
author = {Zhaohan Xi and Tianyu Du and Changjiang Li and Ren Pang and Shouling Ji and Xiapu Luo and Xusheng Xiao and Fenglong Ma and Ting Wang},
journal= {arXiv preprint arXiv:2305.02383},
year = {2023}
}
备注
In proceedings of USENIX Security'23. Codes: https://github.com/HarrialX/security-risk-KG-reasoning