MIReAD：从科学文献中学习高质量表示的简单方法
计算与语言
2023-05-09 v1 人工智能
摘要
从科学文献中学习语义上有意义的表示可促进学术文献检索并提升推荐系统性能。预训练语言模型已被证明能学习丰富的文本表示，但它们无法为科学论文提供强大的文档级表示。我们提出 MIReAD，一种通过微调 transformer 模型以基于摘要预测目标期刊类别来学习科学论文高质量表示的简单方法。我们在超过 2,000 个期刊类别的 500,000 余篇 PubMed 和 arXiv 摘要上训练 MIReAD。我们表明 MIReAD 产生的表示可用于相似论文检索、主题分类和文献搜索。我们提出的方法在四个评价标准上优于六个现有的科学文档表示学习模型。
引用
@article{arxiv.2305.04177,
title = {MIReAD: Simple Method for Learning High-quality Representations from Scientific Documents},
author = {Anastasia Razdaibiedina and Alexander Brechalov},
journal= {arXiv preprint arXiv:2305.04177},
year = {2023}
}
备注
ACL 2023 (short paper)