基于即插即用适配器插入的联邦学习：以训练分类器即检索器的软嵌入为例

当现有的检索增强生成（RAG）解决方案旨在用于新的知识领域时，有必要更新其编码器，这些编码器被视为预训练的大型语言模型（LLM）。然而，完全微调这些大型模型是计算和内存密集型的，甚至在资源受限的边缘设备上部署时是不可行的。在这项工作中，我们提出了一种新颖的编码器架构来解决这一限制，该架构使用一个满足边缘设备内存限制的冻结的小语言模型（SLM），并在 SLM 的 Transformer 块之前插入一个小型适配器网络。可训练的适配器接收新语料库的令牌嵌入，并学习为其生成增强的软嵌入，同时更新所需的计算能力远低于完全微调。我们进一步提出了一种新颖的检索机制，通过将一个分类器头附加到 SLM 编码器上，该分类器头被训练来学习输入嵌入到其对应文档的相似性映射。最后，为了在边缘设备上实现（i）编码器软嵌入和（ii）分类器即检索器的在线微调，我们采用联邦学习（FL）和差分隐私（DP）来实现高效、隐私保护且产品级的训练解决方案。我们对我们的方法进行了理论分析，在部署于一般平滑非凸损失函数时，在梯度方差的温和假设下建立了收敛保证。通过广泛的数值实验，我们展示了（i）获取软嵌入以增强编码器的有效性，（ii）训练分类器以改进检索器，以及（iii）FL 在实现加速中的作用。