面向材料信息学的深度贝叶斯迁移学习的惩罚复杂度先验
应用统计
2022-02-01 v1
摘要
材料信息学这一新兴领域中的一项关键任务是利用机器学习预测材料的性质与功能。快速而准确的预测模型能让研究者更高效地识别或构建具有理想性质的材料。与许多领域一样，深度学习是最先进的方法之一，但在材料信息学中，由于数据可用性、计算资源和时间方面的限制，完全训练一个深度学习模型并非总是可行。因此，在将深度学习应用于材料信息学问题时，亟需开发高效的迁移学习算法。贝叶斯框架天然适用于迁移学习，因为从源数据训练得到的模型可以被编码到目标任务所关注的先验分布中。然而，文献中对迁移学习的贝叶斯视角关注相对较少，并且由于参数空间庞大且单个参数的含义不明确，其在深度学习中变得复杂。因此，我们不再采用针对单个参数的主观先验分布，而是提出一种基于源任务与目标任务预测模型之间 Kullback-Leibler 散度的惩罚复杂度先验的新型贝叶斯迁移学习方法。我们通过仿真表明，所提方法在多种设定下优于其他迁移学习方法。随后将该新方法应用于一个预测性材料科学问题，基于材料的结构性质估算其带隙时精度得到提升。
引用
@article{arxiv.2201.12401,
title = {A penalized complexity prior for deep Bayesian transfer learning with application to materials informatics},
author = {Mohamed A. Abba and Jonathan P Williams and Brian J Reich},
journal= {arXiv preprint arXiv:2201.12401},
year = {2022}
}