基于自对比 Bregman 散度学习的高效文档嵌入
计算与语言
2024-03-27 v2
摘要
学习高质量的文档嵌入是自然语言处理（NLP）、信息检索（IR）、推荐系统和搜索引擎中的基本问题。尽管近期基于 transformer 的模型通过自对比学习生成句子嵌入取得了进展，但长文档（数千词）的编码在效率和质量方面仍具挑战。因此，我们使用最先进的无监督对比学习方法（SimCSE）训练基于 Longformer 的文档编码器。进一步，我们用基于泛函 Bregman 散度的额外凸神经网络补充基线方法——孪生神经网络，旨在提升输出文档表示的质量。我们表明，总体而言，自对比孪生网络与我们提出的神经 Bregman 网络的组合在来自法律和生物医学领域的三个长文档主题分类任务的两个线性分类设置中优于基线。
引用
@article{arxiv.2305.16031,
title = {Efficient Document Embeddings via Self-Contrastive Bregman Divergence Learning},
author = {Daniel Saggau and Mina Rezaei and Bernd Bischl and Ilias Chalkidis},
journal= {arXiv preprint arXiv:2305.16031},
year = {2024}
}
备注
5 pages, short paper at Findings of ACL 2023