一种高效的句子嵌入自监督跨视图训练方法
计算与语言
2023-11-07 v1 人工智能
摘要
自监督句子表示学习是在不依赖人工标注的情况下为句子构建嵌入空间的任务。一种直接的方法是用对比学习等表示学习方法微调预训练语言模型(PLM)。虽然该方法在较大 PLM 上取得了令人印象深刻的性能,但性能随参数数量减少而迅速下降。本文提出一种称为自监督跨视图训练(SCT)的框架,以缩小大型与小型 PLM 之间的性能差距。为评估 SCT 的有效性,我们在七个语义文本相似度(STS)基准上,使用参数规模从 4M 到 340M 的 5 个 PLM,将其与 5 个基线和最先进(state-of-the-art)竞争对手进行比较。实验结果表明,在 21 个案例中,STC 在 18 个案例中对参数少于 100M 的 PLM 优于竞争对手。
引用
@article{arxiv.2311.03228,
title = {An Efficient Self-Supervised Cross-View Training For Sentence Embedding},
author = {Peerat Limkonchotiwat and Wuttikorn Ponwitayarat and Lalita Lowphansirikul and Can Udomcharoenchaikit and Ekapol Chuangsuwanich and Sarana Nutanong},
journal= {arXiv preprint arXiv:2311.03228},
year = {2023}
}
备注
Accepted to TACL. The code and pre-trained models are available at https://github.com/mrpeerat/SCT