Sen2Pro：基于预训练语言模型的句子嵌入概率视角
计算与语言
2023-06-06 v1 人工智能
摘要
句子嵌入是自然语言处理中最基础的任务之一，并在各类任务中发挥重要作用。近期句子嵌入的突破由预训练语言模型（PLMs）取得。尽管取得成功，表示点估计的嵌入向量（Sen2Vec）无法以任务无关的方式自然表达不确定性。本文由此提出一种基于PLM的高效概率句子嵌入框架（Sen2Pro），将句子表示为嵌入空间中的概率密度分布，以反映句子表示中的模型不确定性和数据不确定性（即多对一性质）。所提框架以即插即用的方式运行，无需重新训练PLM，易于实现并可普遍应用于任意PLM之上。Sen2Pro相对于Sen2Vec的优越性已在理论上得到验证，并在不同NLP任务中实际展示。
引用
@article{arxiv.2306.02247,
title = {Sen2Pro: A Probabilistic Perspective to Sentence Embedding from Pre-trained Language Model},
author = {Lingfeng Shen and Haiyun Jiang and Lemao Liu and Shuming Shi},
journal= {arXiv preprint arXiv:2306.02247},
year = {2023}
}
备注
Accepted to ACL2023 workshop Rep4NLP