Mafin：通过模型增强微调提升黑盒嵌入
机器学习
2024-03-13 v4 人工智能
计算与语言
摘要
检索增强生成已成为缓解大语言模型中幻觉的有效解决方案。RAG中的检索阶段通常涉及预训练嵌入模型，该模型将查询和段落转换为向量以捕获其语义。然而，标准的预训练嵌入模型在应用于特定领域知识时可能表现次优，因此需要微调。本文针对嵌入仅来自黑盒模型的场景。我们引入了模型增强微调——一种通过增强可训练嵌入模型来微调黑盒嵌入模型的新方法。我们的结果表明，Mafin仅需训练一个小的增强模型即可显著提升黑盒嵌入的性能。我们在有标签和无标签数据集上验证了该方法的有效性，展示了其广泛的适用性和效率。
引用
@article{arxiv.2402.12177,
title = {Mafin: Enhancing Black-Box Embeddings with Model Augmented Fine-Tuning},
author = {Mingtian Zhang and Shawn Lan and Peter Hayes and David Barber},
journal= {arXiv preprint arXiv:2402.12177},
year = {2024}
}