GenEOL：利用大语言模型的生成能力实现无训练句子嵌入
计算与语言
2025-02-11 v2 人工智能
摘要
无训练嵌入方法直接利用预训练的大型语言模型(LLM)进行文本嵌入，绕开了对对比学习的高成本和复杂过程。以往的无训练嵌入方法主要聚焦于优化嵌入提示，忽略了利用大语言模型生成能力的潜在优势。我们提出一种新方法，GenEOL，通过让大语言模型生成保持语义不变的句子多样化变换，并聚合这些变换的嵌入来增强整体句子嵌入质量。在句子语义文本相似性(STS)基准测试中，GenEOL 在多个大语言模型上平均提升 2.85 分，显著优于现有的无训练嵌入方法。在 MTEB 基准测试的聚类、排序和二分类任务中，GenEOL 也取得显著提升。此外，GenEOL 在不同层次上稳定表示质量，对嵌入提示的扰动仍保持鲁棍性。
引用
@article{arxiv.2410.14635,
title = {GenEOL: Harnessing the Generative Power of LLMs for Training-Free Sentence Embeddings},
author = {Raghuveer Thirukovalluru and Bhuwan Dhingra},
journal= {arXiv preprint arXiv:2410.14635},
year = {2025}
}
备注
NAACL Findings 2025, 9 pages, 4 figures, 9 tables