AugCSE：基于多样化增强的对比句子嵌入
计算与语言
2022-10-26 v1
摘要
数据增强技术已被证明在NLP领域的许多应用中很有用。大多数增强是任务特定的，无法作为通用工具使用。在我们的工作中，我们提出AugCSE，一个统一框架，利用多样化数据增强集合来实现更好、通用的句子嵌入模型。基于最新的句子嵌入模型，我们的方法使用一个简单对抗判别器来区分增强类型。借助从域适应借用的微调目标，我们表明常导致冲突对比信号的多样化增强可被驯服以产生更好且更鲁棒的句子表示。我们的方法在下游迁移任务上取得最先进结果，并在语义文本相似度任务上具竞争力，且仅使用无监督数据。
引用
@article{arxiv.2210.13749,
title = {AugCSE: Contrastive Sentence Embedding with Diverse Augmentations},
author = {Zilu Tang and Muhammed Yusuf Kocyigit and Derry Wijaya},
journal= {arXiv preprint arXiv:2210.13749},
year = {2022}
}
备注
AACL 2022, 9 pages, Long paper, oral. arXiv admin note: text overlap with arXiv:2112.02721