基于混合 LoRA 专家路由蒸馏知识的大语言模型捆绑生成
计算与语言
2025-08-26 v1 信息检索
摘要
大语言模型（LLM）在自动捆绑生成方面展现了潜力，但面临过高的计算成本问题。尽管知识蒸馏为构建更高效的学生模型提供了途径，我们的初步研究表明，将来自教师 LLM 的多种蒸馏知识简单地集成到学生 LLM 中会导致知识冲突，进而影响捆绑生成的性能。为解决这一问题，我们提出了 RouteDK，一个通过混合 LoRA 专家架构路由蒸馏知识的框架。具体而言，我们首先从教师 LLM 中蒸馏用于捆绑生成的知识，并将其分为两种互补类型：高层知识（可泛化的规则）和细粒度知识（特定会话的推理）。随后，我们为每种类型的知识训练特定的知识 LoRA 专家，并同时训练一个基础 LoRA 专家。为实现有效集成，我们提出了一个动态融合模块，该模块包含一个输入感知路由器，路由器通过根据输入动态确定最优权重来平衡各专家的贡献，从而有效缓解知识冲突。为进一步提高推理可靠性，我们设计了一个推理时增强模块，以减少方差并缓解次优推理。在三个公开数据集上的实验表明，我们的 RouteDK 实现了与教师 LLM 相当甚至更优的准确率，同时保持了很高的计算效率。此外，它优于现有的最先进捆绑生成方法。
引用
@article{arxiv.2508.17250,
title = {Routing Distilled Knowledge via Mixture of LoRA Experts for Large Language Model based Bundle Generation},
author = {Kaidong Feng and Zhu Sun and Hui Fang and Jie Yang and Wenyuan Liu and Yew-Soon Ong},
journal= {arXiv preprint arXiv:2508.17250},
year = {2025}
}