通过集成多个 CLS 令牌编码多领域科学论文
计算与语言
2023-09-11 v1 数字图书馆
机器学习
摘要
科学文档上的许多有用任务，如主题分类和引用预测，涉及跨越多个科学领域的语料库。通常，这类任务通过将文本表示为从 Transformer 单个 CLS 令牌获得的向量嵌入来完成。本文中，我们认为使用多个 CLS 令牌可使 Transformer 更好地专门适应多个科学领域。我们提出 Multi2SPE：它鼓励多个 CLS 令牌中的每一个学习聚合令牌嵌入的不同方式，然后将它们求和以创建单一向量表示。我们还提出了新的多领域基准 Multi-SciDocs，用于在多领域设置下测试科学论文向量编码器。我们展示 Multi2SPE 在多领域引用预测中将误差降低多达 25%，且除一次 BERT 前向传播外仅需可忽略的计算量。
引用
@article{arxiv.2309.04333,
title = {Encoding Multi-Domain Scientific Papers by Ensembling Multiple CLS Tokens},
author = {Ronald Seoh and Haw-Shiuan Chang and Andrew McCallum},
journal= {arXiv preprint arXiv:2309.04333},
year = {2023}
}