MUBen：分子表示模型不确定性的基准测试
化学物理
2024-04-18 v4 机器学习
摘要
在海量无标签数据上预训练的大型分子表示模型在预测分子性质方面已展现出巨大成功。然而，这些模型可能倾向于过拟合微调数据，从而对训练分布之外的测试数据给出过于自信的预测。为解决此问题，可采用不确定性量化（UQ）方法来改善模型预测的校准。尽管存在许多 UQ 方法，但并非全部都能带来性能提升。虽然已有研究引入 UQ 以改进分子预训练模型，但为可靠分子不确定性估计选择合适的骨干模型与 UQ 方法这一过程仍鲜有探索。为弥补该空白，我们提出 MUBen，其评估了面向最先进骨干分子表示模型的不同 UQ 方法，以考察它们的能力。通过使用不同分子描述符作为输入、结合不同类别的 UQ 方法对多种骨干模型进行微调，我们评估了架构决策与训练策略的影响。本研究为骨干模型选择 UQ 提供了见解，可推动材料科学与药物发现等不确定性关键应用的研究。
引用
@article{arxiv.2306.10060,
title = {MUBen: Benchmarking the Uncertainty of Molecular Representation Models},
author = {Yinghao Li and Lingkai Kong and Yuanqi Du and Yue Yu and Yuchen Zhuang and Wenhao Mu and Chao Zhang},
journal= {arXiv preprint arXiv:2306.10060},
year = {2024}
}
备注
58 pages, 10 figures, 39 tables, in TMLR