面向生物医学文本分类的领域特定模型与不确定性感知模型：这真的有区别吗？
计算与语言
2024-07-18 v1
摘要
预训练语言模型（PLMs）在广泛的 use-case 上的成功，导致 NLP 社区投入巨资构建领域特定的基础模型。另一方面，在生物医学等使命关键场景中，其他因素也发挥作用，其中 chief 因素是模型能够对自身不确定性产生合理估计的能力。本研究通过探讨这些两个 desiderata如何塑造模型输出概率分布的 entropy 来阐述这些因素。我们发现，领域特定性和不确定性感知性可以成功地组合，但具体任务的影响更为显著。
引用
@article{arxiv.2407.12626,
title = {Domain-specific or Uncertainty-aware models: Does it really make a difference for biomedical text classification?},
author = {Aman Sinha and Timothee Mickus and Marianne Clausel and Mathieu Constant and Xavier Coubez},
journal= {arXiv preprint arXiv:2407.12626},
year = {2024}
}
备注
BioNLP 2024