增强生物医学文本摘要与问答：领域特定预训练的效用研究
计算与语言
2023-07-11 v1
摘要
生物医学摘要需要大型数据集来训练文本生成。我们表明，虽然迁移学习为解决这一挑战提供了可行方案，但在 BioASQ 摘要任务中，领域内预训练并非总能带来优势。我们确定了合适的模型架构，并借此展示在 BioASQ 摘要任务中，通用领域预训练随后进行任务特定微调的益处，从而提出了一种仅需一千个领域内样本即可生效的新型三步微调方法。我们的结果表明，未经领域特定预训练的大语言模型（LLM）在某些特定领域的生物医学文本生成任务中可能具有显著优势。
引用
@article{arxiv.2307.04412,
title = {Enhancing Biomedical Text Summarization and Question-Answering: On the Utility of Domain-Specific Pre-Training},
author = {Dima Galat and Marian-Andrei Rizoiu},
journal= {arXiv preprint arXiv:2307.04412},
year = {2023}
}