RouterDC: 通过双重对比学习的基于查询的路由器用于组装大型语言模型
机器学习
2024-10-01 v1 人工智能
计算与语言
摘要
最近的研究表明，组装多个现成的大型语言模型可以利用它们的互补能力。为了实现这一点，路由是一种有前途的方法，它学习一个路由器来为每个查询选择最合适的大型语言模型。然而，当多个大型语言模型对一个查询都表现良好时，现有的路由模型是无效的。为了解决这个问题，在本文中，我们提出了一种称为基于查询的双重对比学习路由器的方法。RouterDC模型由一个编码器和大型语言模型嵌入组成，我们提出了两个对比学习损失来训练RouterDC模型。实验结果表明，RouterDC在组装大型语言模型方面是有效的，并且在分布内（+2.76%）和分布外（+1.90%）任务上都大大优于单个顶级性能的大型语言模型以及现有的路由方法。源代码可在https://github.com/shuhao02/RouterDC获取。
引用
@article{arxiv.2409.19886,
title = {RouterDC: Query-Based Router by Dual Contrastive Learning for Assembling Large Language Models},
author = {Shuhao Chen and Weisen Jiang and Baijiong Lin and James T. Kwok and Yu Zhang},
journal= {arXiv preprint arXiv:2409.19886},
year = {2024}
}
备注
Accepted by NeurIPS 2024