多智能体系统中错误信息的目标感知识别与纠正
计算与语言
2025-06-03 v1
摘要
基于大型语言模型的多智能体系统在处理复杂的现实世界任务中展现出了显著优势。然而，由于引入了额外的攻击面，多智能体系统特别容易受到错误信息注入的攻击。为了促进对这些系统中错误信息传播动态的深入理解，我们引入了 MisinfoTask，这是一个包含复杂、现实任务的新颖数据集，旨在评估多智能体系统抵御此类威胁的鲁棒性。在此基础上，我们提出了 ARGUS，一个两阶段、无需训练的防御框架，利用目标感知推理对信息流中的错误信息进行精确纠正。我们的实验表明，在具有挑战性的错误信息场景中，ARGUS 在各种注入攻击下均表现出显著的有效性，实现了平均约 28.17% 的错误信息毒性降低，并使受攻击条件下的任务成功率提高了约 10.33%。我们的代码和数据集公开于：https://github.com/zhrli324/ARGUS。
引用
@article{arxiv.2506.00509,
title = {Goal-Aware Identification and Rectification of Misinformation in Multi-Agent Systems},
author = {Zherui Li and Yan Mi and Zhenhong Zhou and Houcheng Jiang and Guibin Zhang and Kun Wang and Junfeng Fang},
journal= {arXiv preprint arXiv:2506.00509},
year = {2025}
}