基于 Transformer 的语言模型在 BioASQ9b 事实型问答中的应用
计算与语言
2021-09-16 v1
摘要
在这项工作中，我们描述了在 BioASQ 任务 9b 阶段 B 生物医学问答挑战中的实验与参赛系统。我们专注于寻找理想答案，并研究了基于 transformer 的语言模型上的多任务微调与渐进式解冻技术。对于事实型问题，我们基于 ALBERT 的系统在测试批次 1 中排名第一，在测试批次 2 中排名第四。尽管参数比 ALBERT 少 81%，我们的 DistilBERT 系统在测试批次 4 和 5 中优于 ALBERT 变体。然而，我们观察到与标准微调相比，渐进式解冻对模型准确率没有显著影响。
引用
@article{arxiv.2109.07185,
title = {Transformer-based Language Models for Factoid Question Answering at BioASQ9b},
author = {Urvashi Khanna and Diego Mollá},
journal= {arXiv preprint arXiv:2109.07185},
year = {2021}
}
备注
12 pages, 3 figures, 4 tables. Accepted at BioASQ Workshop, CLEF Working Notes