面向科学文献理解的多任务对比学习预训练模型
计算与语言
2023-10-24 v2 数字图书馆
信息检索
机器学习
摘要
科学文献理解任务因有望加速科学发现而受到广泛关注。预训练语言模型(LMs)已在这些任务中展现出有效性,尤其是在通过对比学习进行微调时。然而,跨多个异构任务(例如极端多标签论文分类、引文预测和文献检索)联合利用预训练数据在很大程度上仍未被探索。为弥补这一差距,我们提出了一种多任务对比学习框架 SciMult,重点在于促进不同科学文献理解任务间的通用知识共享,同时防止任务特定技能相互干扰。具体而言,我们探索了两种技术——任务感知专门化与指令微调。前者采用带有任务感知子层的混合专家 Transformer 架构;后者将任务特定指令置于输入文本之前以产生任务感知的输出。在综合基准数据集上的大量实验验证了我们的任务感知专门化策略的有效性,其中我们优于最先进的科学预训练 LMs。代码、数据集和预训练模型可在 https://scimult.github.io/ 找到。
引用
@article{arxiv.2305.14232,
title = {Pre-training Multi-task Contrastive Learning Models for Scientific Literature Understanding},
author = {Yu Zhang and Hao Cheng and Zhihong Shen and Xiaodong Liu and Ye-Yi Wang and Jianfeng Gao},
journal= {arXiv preprint arXiv:2305.14232},
year = {2023}
}
备注
17 pages; Accepted to Findings of EMNLP 2023 (Project Page: https://scimult.github.io/)