MetricBERT:基于自监督三元组训练的文本表示学习
计算与语言
2022-08-16 v1
摘要
我们提出MetricBERT,一种基于BERT的模型,它在明确定义的相似性度量下学习嵌入文本,同时遵循“传统”的掩码语言任务。我们关注于学习推荐相似度的下游任务,在此我们表明MetricBERT优于最先进的替代方法,有时优势显著。我们对我们的方法及其不同变体进行了广泛评估,表明我们的训练目标相对于传统的对比损失、标准余弦相似度目标以及六个其他基线极具益处。作为额外贡献,我们发布了一个电子游戏描述数据集以及由领域专家精心标注的相似性测试集。
引用
@article{arxiv.2208.06610,
title = {MetricBERT: Text Representation Learning via Self-Supervised Triplet Training},
author = {Itzik Malkiel and Dvir Ginzburg and Oren Barkan and Avi Caciularu and Yoni Weill and Noam Koenigstein},
journal= {arXiv preprint arXiv:2208.06610},
year = {2022}
}