一种简单即插即用的无监督句子表示增强方法
计算与语言
2023-05-16 v1 人工智能
摘要
通过无监督方式生成恰当的句子嵌入有益于现实场景中的语义匹配与检索问题。本文提出表示炼金术（RepAL），一种极其简单的后处理方法，用于增强句子表示。RepAL 的基本思想是去强调预训练模型生成的句子嵌入中的冗余信息。通过综合实验，我们表明 RepAL 无需训练且为一种即插即用方法，可与多数现有无监督句子学习模型结合。我们还进行了深入分析以理解 RepAL。
引用
@article{arxiv.2305.07824,
title = {A Simple and Plug-and-play Method for Unsupervised Sentence Representation Enhancement},
author = {Lingfeng Shen and Haiyun Jiang and Lemao Liu and Shuming Shi},
journal= {arXiv preprint arXiv:2305.07824},
year = {2023}
}