SMAGDi：基于博弈图蒸馏的高效高精度推理框架
人工智能
2025-11-11 v1
摘要
多智能体系统（MAS）通常比单一模型在推理准确率上更高，但其依赖于智能体之间反复辩论，导致计算成本高昂。我们引入SMAGDi，这是一个将基于Llama的五智能体MAS的辩论动态蒸馏到紧凑的Socratic分解-求解学生中的蒸馏框架。SMAGDi将辩论轨迹表示为有向交互图，其中节点编码具有正确性标签的中间推理步骤，边缘捕获连续性和跨智能体影响。学生通过结合语言模型、图形监督、对比推理和嵌入对齐的复合目标进行训练，以保持流畅性和结构化推理。实验表明，SMAGDi将40B多智能体系统压缩为6B学生模型，同时保留88%的准确率，显著优于MAGDi、标准知识蒸馏和微调基线方法。这些结果表明，显式建模交互图和Socratic分解使小模型能够继承多智能体辩论的准确率优势，同时保持足够高效，适用于实际部署。
引用
@article{arxiv.2511.05528,
title = {SMAGDi: Socratic Multi Agent Interaction Graph Distillation for Efficient High Accuracy Reasoning},
author = {Aayush Aluru and Myra Malik and Samarth Patankar and Spencer Kim and Kevin Zhu and Sean O'Brien and Vasu Sharma},
journal= {arXiv preprint arXiv:2511.05528},
year = {2025}
}
备注
Multi-Turn Interactions in Large Language Models (MTI-LLM) Workshop at NeurIPS 2025