AdaSent：用于少样本分类的高效领域自适应句子嵌入
计算与语言
2023-11-02 v1
摘要
近期工作发现，基于预训练句子编码器（SEs）的少样本句子分类高效、鲁棒且有效。在本文中，我们研究了在基于 SEs 的少样本句子分类背景下进行领域专门化的策略。我们首先确定，对基础预训练语言模型（PLM）（即非 SE）进行无监督领域自适应预训练（DAPT）可将少样本句子分类准确率提升多达 8.4 个点。然而，在 SEs 上应用 DAPT 一方面破坏了其（通用领域）句子嵌入预训练（SEPT）的效果。另一方面，在领域自适应后的基础 PLM（即 DAPT 之后）上应用通用领域 SEPT 虽有效但低效，因为计算代价高昂的 SEPT 需在每个领域的 DAPT 后 PLM 上执行。作为解决方案，我们提出 AdaSent，其通过在基础 PLM 上训练 SEPT 适配器，将 SEPT 与 DAPT 解耦。该适配器可插入任意领域的 DAPT 后 PLM 中。我们在 17 个不同少样本句子分类数据集的广泛实验中展示了 AdaSent 的有效性。AdaSent 匹配或超越了在 DAPT 后 PLM 上完整 SEPT 的性能，同时大幅降低了训练成本。AdaSent 的代码已公开。
引用
@article{arxiv.2311.00408,
title = {AdaSent: Efficient Domain-Adapted Sentence Embeddings for Few-Shot Classification},
author = {Yongxin Huang and Kexin Wang and Sourav Dutta and Raj Nath Patel and Goran Glavaš and Iryna Gurevych},
journal= {arXiv preprint arXiv:2311.00408},
year = {2023}
}
备注
Accepted at EMNLP 2023 Main