CAPT：用于学习去噪序列表示的对比预训练
计算与语言
2020-11-02 v4
摘要
诸如 BERT 之类的预训练自监督模型在学习序列表示方面取得了显著成功，尤其是在自然语言处理中。这些模型通常用某些类型的噪声（如掩码、打乱或替换）破坏给定序列，然后尝试恢复原始输入。然而，此类预训练方法容易学习到与噪声协变的表示，导致预训练与微调阶段之间存在差异。为此，我们提出对比预训练（CAPT）来学习噪声不变的序列表示。所提出的 CAPT 通过无监督的实例级训练信号，鼓励原始序列与其损坏版本表示之间的一致性。以此方式，它不仅缓解了由预训练噪声引起的预训练-微调差异，还借助更有效的句子级监督帮助预训练模型更好地捕捉输入的全局语义。与大多数聚焦于特定模态的先前工作不同，在 11 个自然语言理解和跨模态任务上的综合实证证据表明，CAPT 适用于语言和视觉-语言任务，并取得了惊人一致的提升，包括在 GLUE 基准上 0.6% 的绝对增益和在 上 0.8% 的绝对提升。
引用
@article{arxiv.2010.06351,
title = {CAPT: Contrastive Pre-Training for Learning Denoised Sequence Representations},
author = {Fuli Luo and Pengcheng Yang and Shicheng Li and Xuancheng Ren and Xu Sun},
journal= {arXiv preprint arXiv:2010.06351},
year = {2020}
}
备注
Corrected typos