Meta-任务提示从大语言模型中诱导出嵌入
计算与语言
2024-07-23 v2
摘要
我们提出一种新的无监督文本嵌入方法——基于显式一词限制的元任务提示（Meta-Task Prompting with Explicit One-Word Limitation, 简称MetaEOL），用于从大语言模型（Large Language Models, LLMs）生成高质量的句子嵌入，无需模型微调。通过元任务提示，MetaEOL通过一系列精心设计的提示引导LLMs产生嵌入，涉及多个表征方面。我们的实验表明，来自各种元任务的嵌入平均值具有良好的通用性，在语义文本相似性（Semantic Textual Similarity, STS）基准测试中表现竖争，对下游任务尤其有优势，超越了对比学习训练的模型。我们的发现表明，这是一种新的标度规律，提供了一种灵活且资源高效的嵌入生成方法，可适用于多种场景。
引用
@article{arxiv.2402.18458,
title = {Meta-Task Prompting Elicits Embeddings from Large Language Models},
author = {Yibin Lei and Di Wu and Tianyi Zhou and Tao Shen and Yu Cao and Chongyang Tao and Andrew Yates},
journal= {arXiv preprint arXiv:2402.18458},
year = {2024}
}
备注
ACL 2024