诊断、定位、对齐：面向指令冲突可靠LLM多智能体系统的全栈框架
计算与语言
2025-12-16 v3
摘要
大型语言模型(LLM)驱动的多智能体系统(MAS)在复杂任务中快速推进了协作推理、工具使用和角色专职协调。然而，可靠性关键型部署仍受阻于系统性失效模式：在指令冲突(system-user、同级-同级)下，智能体误估系统级规则的优先级。此外，广泛使用的宏观指标(如pass@k)掩盖了这些微观违规，难以提供可操作的 remedial 建议。本文提出了全栈三阶段框架：(1)诊断-情境化角色遵循得分(CRAS)，对角色遵循进行查询级、情境感知的评分，分为四个可衡量维度；(2)定位-注意力漂移分析揭示，指令冲突通过注意力头解决，这些注意力头大多集中在中间层；(3)对齐-指令层外科对齐(SAIL)，仅在局部焦点层上安装LoRA，并优化以token加权的DPO风格偏好目标，按其焦点注意力贡献对token进行加权。我们的方法在标准基准和MAS框架中提升指令层级遵循度(例如在MedQA上提升+5.60%)，而无需全模型微调。
引用
@article{arxiv.2509.23188,
title = {Diagnose, Localize, Align: A Full-Stack Framework for Reliable LLM Multi-Agent Systems under Instruction Conflicts},
author = {Guancheng Wan and Leixin Sun and Longxu Dou and Zitong Shi and Fang Wu and Eric Hanchen Jiang and Wenke Huang and Guibin Zhang and Hejia Geng and Xiangru Tang and Zhenfei Yin and Yizhou Sun and Wei Wang},
journal= {arXiv preprint arXiv:2509.23188},
year = {2025}
}
备注
Upon further review, we realized that the version submitted to arXiv was not the final draft and omits crucial results and discussion. To avoid confusion and ensure the integrity of the record, we request withdrawal and will resubmit once the complete work is ready