SynapseRoute: 基于双状态大语言模型的自动路由切换框架
计算与语言
2025-07-04 v1 人工智能
机器学习
摘要
随着大语言模型(LLM)在实际应用中的广泛采用，选择合适的模型不仅需要平衡性能，还需要考虑运营成本。推理能力模型的涌现进一步拉大了“思考”(高推理)模式与“非思考”(快速、低成本)模式之间的成本差距。在这项工作中，我们揭示了大约58%的医学问题可以仅通过非思考模式准确回答，而无需高成本的推理过程。这突显了问题复杂性的明确二分性，并表明根据复杂性动态地将查询路由到适当的模式可以优化准确性、成本效益和整体用户体验。基于此，我们进一步提出了SynapseRoute，一个基于机器学习的动态路由框架，它能智能地将输入查询分配给思考或非思考模式。在多个医学数据集上的实验结果表明，与仅使用思考模式相比，SynapseRoute不仅提高了整体准确率(0.8390 vs. 0.8272)，还将推理时间减少了36.8%，令牌消耗减少了39.66%。重要的是，定性分析表明，对较简单查询的过度推理会导致不必要的延迟甚至准确率下降，而我们的自适应路由避免了这一陷阱。最后，本工作进一步引入了准确性-推理-令牌(AIT)指数，以全面评估准确性、延迟和令牌成本之间的权衡。
引用
@article{arxiv.2507.02822,
title = {SynapseRoute: An Auto-Route Switching Framework on Dual-State Large Language Model},
author = {Wencheng Zhang and Shiqin Qiao and Lingjie Luo and Yinfeng Li and Chuanyang Zheng and Qian Xu and Meng Li and Yong Gui and Yijun He and Jianing Qiu and Jindong Hong and Jiankai Sun},
journal= {arXiv preprint arXiv:2507.02822},
year = {2025}
}