通过校准深度神经网络与自训练抽取化学-蛋白质相互作用
计算与语言
2020-11-05 v1
摘要
从若干生物医学文献中抽取化学物质与蛋白质之间的相互作用在药物开发和药物副作用预测等许多生物医学研究领域十分重要。包括深度神经网络（DNN）模型在内的多种自然语言处理方法已被应用于解决该问题。然而，这些方法使用硬标签数据训练，往往变得过度自信，导致模型可靠性下降。为估计数据不确定性并提升可靠性，已将“校准”技术应用于深度学习模型。在本研究中，为抽取化学–蛋白质相互作用，我们提出了一种结合不确定性信息与校准技术的基于 DNN 的方法。我们的模型首先使用预训练的语言理解模型对输入序列编码，随后使用两种校准方法进行训练：mixup 训练与添加置信度惩罚损失。最后，模型使用通过估计不确定性提取的增强数据重新训练。我们的方法在 Biocreative VI ChemProt 任务上取得了最先进的性能，同时保持了比以往方法更高的校准能力。此外，我们的方法也展示了利用不确定性估计提升性能的可能性。
引用
@article{arxiv.2011.02207,
title = {Extracting Chemical-Protein Interactions via Calibrated Deep Neural Network and Self-training},
author = {Dongha Choi and Hyunju Lee},
journal= {arXiv preprint arXiv:2011.02207},
year = {2020}
}
备注
10 pages, 4 figures, accepted for the Findings of EMNLP