TransAug：以翻译作为句子嵌入的数据增强
计算与语言
2025-06-04 v3
摘要
尽管对比学习极大推进了句子嵌入的表示，其仍受限于现有句子数据集的规模。本文提出 TransAug（Translate as Augmentation，以翻译作为增强），首次探索利用翻译句子对作为文本的数据增强，并引入两阶段范式以推进最先进的句子嵌入。我们并非采用在其他语言设置下训练的编码器，而是首先从 SimCSE 编码器（预训练于英语）中蒸馏出一个中文编码器，使其嵌入在语义空间中接近，这可视为隐式数据增强。随后，我们仅通过跨语言对比学习更新英语编码器，并冻结蒸馏出的中文编码器。我们的方法在标准语义文本相似度（STS）上达到了新的最优水平，优于 SimCSE 与 Sentence-T5，并在 SentEval 评估的迁移任务相应赛道中取得最佳性能。
引用
@article{arxiv.2111.00157,
title = {TransAug: Translate as Augmentation for Sentence Embeddings},
author = {Jue Wang},
journal= {arXiv preprint arXiv:2111.00157},
year = {2025}
}