SCD：面向句子嵌入的自对比去相关方法
计算与语言
2022-03-16 v1 机器学习
摘要
本文提出自对比去相关（SCD），一种自监督方法。给定输入句子，其优化联合自对比与去相关目标。通过利用以不同比率实例化的标准 dropout 所产生的对比，促进了表示的习得。所提方法概念简单但经验上强大。其在多个基准上无需使用对比对即取得与最先进方法相当的结果。本研究为比当前对比方法更鲁棒的高效自监督学习方法开辟了途径。
引用
@article{arxiv.2203.07847,
title = {SCD: Self-Contrastive Decorrelation for Sentence Embeddings},
author = {Tassilo Klein and Moin Nabi},
journal= {arXiv preprint arXiv:2203.07847},
year = {2022}
}
备注
To appear at ACL 2022