大型语言模型的条件文本嵌入
计算与语言
2025-04-24 v1
摘要
条件文本嵌入是一种表示方法，捕捉特定情境下的文本视角变化。以往方法依赖大量微调数据，导致劳动和资源成本高。我们提出PonTE，一种基于因果大型语言模型和条件提示的无监督条件文本嵌入方法。通过在条件语义相似度和文本聚类实验，我们展示PonTE能够生成有用的条件文本嵌入，且无需微调即可达到监督方法的性能。我们还通过分析提示后的词生成和嵌入可视化，展示了PonTE对文本嵌入的可解释性。
引用
@article{arxiv.2504.16411,
title = {Out-of-the-Box Conditional Text Embeddings from Large Language Models},
author = {Kosuke Yamada and Peinan Zhang},
journal= {arXiv preprint arXiv:2504.16411},
year = {2025}
}
备注
work in progress