用于毒性预测的本体预训练
人工智能
2023-01-23 v1 机器学习
定量方法
摘要
将人类知识整合到神经网络中有潜力提升其鲁棒性与可解释性。我们开发了一种将本体中的知识整合进 Transformer 网络结构的新方法，称之为本体预训练(ontology pre-training)：我们训练网络预测本体类的成员关系，以此将本体结构嵌入网络中，随后针对特定预测任务对网络进行微调。我们将该方法应用于一个基于分子结构预测小分子潜在毒性的案例研究，这是生命科学化学中机器学习的一项具有挑战性的任务。我们的方法优于当前最优(state of the art, SOTA)水平，并且还具有若干额外优势。首先，我们能够表明，相较于无本体预训练，有本体预训练时模型在学习预测过程中将注意力集中于更有意义的化学基团，为更强的鲁棒性与可解释性铺平道路。其次，本体预训练后训练时间缩短，表明借助本体预训练模型能比无本体预训练更好地学习毒性预测中的关键因素。该策略具有普适性，作为一种神经符号方法将有意义语义嵌入神经网络。
引用
@article{arxiv.2301.08577,
title = {Ontology Pre-training for Poison Prediction},
author = {Martin Glauer and Fabian Neuhaus and Till Mossakowski and Janna Hastings},
journal= {arXiv preprint arXiv:2301.08577},
year = {2023}
}