关于基于LLM的多智能体系统在故障智能体下的韧性研究
人工智能
2025-05-30 v4
摘要
基于大型语言模型的多智能体系统由于专家智能体的协作，在各种任务中展现出强大的能力，每个智能体专注于特定领域。然而，笨拙甚至恶意的智能体——那些在其任务中频繁出错的智能体——对系统整体性能的影响仍未得到充分探索。本文研究：(1) 在不同下游任务上，各种系统结构（例如，A→B→C，A↔B↔C）在故障智能体下的韧性如何？(2) 我们如何提高系统韧性以防御这些智能体？为了模拟故障智能体，我们提出了两种方法——AutoTransform和AutoInject——它们将错误引入智能体的响应中。在四个下游任务上使用六个系统进行的实验表明，“层级”结构，即A→(B↔C)，表现出卓越的韧性，性能下降最低为5.5%，而其他两种结构分别为10.5%和23.7%。为了进一步提高韧性，我们引入了(1) Challenger，它引入了一种机制，使每个智能体能够挑战其他智能体的输出，以及(2) Inspector，一个额外的智能体来审查和纠正消息，恢复了故障智能体造成的多达96.4%的错误。我们的代码和数据可在 https://github.com/CUHK-ARISE/MAS-Resilience 获取。
引用
@article{arxiv.2408.00989,
title = {On the Resilience of LLM-Based Multi-Agent Collaboration with Faulty Agents},
author = {Jen-tse Huang and Jiaxu Zhou and Tailin Jin and Xuhui Zhou and Zixi Chen and Wenxuan Wang and Youliang Yuan and Michael R. Lyu and Maarten Sap},
journal= {arXiv preprint arXiv:2408.00989},
year = {2025}
}
备注
9 pages of main text; 12 pages of appendix