对比式提示提升LLM中句子嵌入通过推理时引导
计算与语言
2025-05-20 v1
摘要
从大语言模型(LLM)中提取句子嵌入是一个实用方法，无需额外数据或微调。以往研究通常侧重于提示工程，以引导LLM将句子的核心语义信息编码到最后一个标记的嵌入中。然而，这些方法中的最后一个标记仍编码了大量非本质信息（如停用词），限制了其编码能力。为此，我们提出了对比式提示(Contrastive Prompting, CP)方法，通过引入额外的辅助提示来引导更好的句子嵌入。通过与辅助提示对比，CP可将现有提示引导编码句子的核心语义，而非非本质信息。CP是一种即插即用的数据集推理干预方法，可与各种基于提示的方法结合。对语义文本相似性(STS)任务和下游分类任务进行大量实验表明，我们的方法可提升不同LLMs中现有基于提示的方法性能。我们的代码将在 https://github.com/zifengcheng/CP 发布。
引用
@article{arxiv.2505.12831,
title = {Contrastive Prompting Enhances Sentence Embeddings in LLMs through Inference-Time Steering},
author = {Zifeng Cheng and Zhonghui Wang and Yuchen Fu and Zhiwei Jiang and Yafeng Yin and Cong Wang and Qing Gu},
journal= {arXiv preprint arXiv:2505.12831},
year = {2025}
}
备注
ACL 2025