虚拟增强支持下的句子表示对比学习
计算与语言
2022-02-28 v2 机器学习
摘要
尽管取得了巨大成功，对比表示学习依赖于使用领域特定知识精心设计的增强。这一挑战在自然语言处理中尤为突出，由于自然语言的离散性，数据增强不存在通用规则。我们通过提出虚拟增强支持下的句子表示对比学习（VaSCL）来应对该挑战。源于数据增强本质上构建了每个训练样本的邻域这一理解，我们转而利用邻域来生成有效的数据增强。借助对比学习的大训练批次规模，我们通过样本在表示空间中的批内K近邻来近似其邻域。随后我们针对该邻域定义实例判别任务，并以对抗训练方式生成虚拟增强。我们在广泛的下游任务上评估了VaSCL的性能，并为无监督句子表示学习确立了新的SOTA。
引用
@article{arxiv.2110.08552,
title = {Virtual Augmentation Supported Contrastive Learning of Sentence Representations},
author = {Dejiao Zhang and Wei Xiao and Henghui Zhu and Xiaofei Ma and Andrew O. Arnold},
journal= {arXiv preprint arXiv:2110.08552},
year = {2022}
}
备注
8 pages, 3 figures, 3 tables