探究材料科学机器学习中的分布外泛化能力
材料科学
2024-06-11 v1
摘要
科学机器学习致力于开发具有广泛适用性的可泛化模型。然而，对泛化能力的评估通常基于启发式方法。在此，我们证明在材料科学背景下，基于启发式的评估会导致对机器学习泛化能力和神经缩放益处的严重偏倚结论。我们评估了超过700个分布外任务中的泛化性能，这些任务的特征是训练数据中不存在的新化学组成或结构对称性。令人惊讶的是，在大多数任务中，包括简单的提升树在内的各种机器学习模型都表现出良好的性能。对材料表示空间的分析表明，大多数任务包含的测试数据位于训练数据覆盖良好的区域，而性能较差的任务主要包含训练域之外的测试数据。对于后一种情况，增加训练集大小或训练时间对泛化性能的影响微乎其微，甚至会产生不利影响，这与神经缩放范式的假设相反。我们的发现表明，大多数启发式定义的分布外测试并非真正困难，仅评估了插值能力。在这些任务而非真正具有挑战性的任务上进行评估，可能导致对泛化能力和缩放益处的过高估计。
引用
@article{arxiv.2406.06489,
title = {Probing out-of-distribution generalization in machine learning for materials},
author = {Kangming Li and Andre Niyongabo Rubungo and Xiangyun Lei and Daniel Persaud and Kamal Choudhary and Brian DeCost and Adji Bousso Dieng and Jason Hattrick-Simpers},
journal= {arXiv preprint arXiv:2406.06489},
year = {2024}
}