SIFTER：一种用于增强句子嵌入的任务特定对齐策略
计算与语言
2023-06-22 v1 人工智能
摘要
预训练后在下游任务上微调的范式已成为自然语言处理任务的主流方法。尽管预训练模型具有泛化优势，其在不同领域任务上的表现仍可能存在显著差异。这是因为不同领域的数据分布不同。例如，句子“He married Smt. Dipali Ghosh in 1947 and led a very happy married life”的不同部分对下游任务可能具有不同影响。对于相似度计算，诸如“led”和“life”等词更为重要。另一方面，对于情感分析，单词“happy”至关重要。这表明不同的下游任务对句子组件具有不同的敏感度。我们的出发点是根据下游任务的特异性对模型和数据的信息进行缩放，增强这些任务相关部分的领域信息并减少不同领域任务中的无关元素，称为 SIFTER。在实验部分，我们通过基于增强句干并减少句子中不重要组件来构造正样本对，并最大化三个句子间的相似度，使用 SIFTER 改进 SimCSE；类似地，SIFTER 可通过短路重要词的输入门来改进 LSTM 模型的门机制，使 LSTM 模型记住句子的重要部分。我们的实验表明 SIFTER 优于 SimCSE 和 LSTM 基线。
引用
@article{arxiv.2306.12280,
title = {SIFTER: A Task-specific Alignment Strategy for Enhancing Sentence Embeddings},
author = {Chao Yu and Wenhao Zhu and Chaoming Liu and Xiaoyu Zhang and Qiuhong zhai},
journal= {arXiv preprint arXiv:2306.12280},
year = {2023}
}