零阶科学机器学习：科学软件与深度学习的非侵入式集成
机器学习
2022-06-08 v1 人工智能
摘要
使用深度学习(DL)加速和/或改进科学工作流能够产生原本不可能的发现。遗憾的是，由于大数据需求，DL 模型在复杂科学领域的成功有限。在这项工作中，我们提出通过将丰富的科学知识源(SKS)与 DL 训练过程相集成来克服这一问题。现有的知识集成方法仅限于使用可微的知识源，以兼容一阶 DL 训练范式。相比之下，我们提出的方法将知识源视为黑盒，从而能够集成几乎任意的知识源。为了实现 SKS 耦合 DL 的端到端训练，我们提出使用基于零阶优化(ZOO)的无梯度训练方案，该方案是非侵入式的，即不需要对 SKS 做任何改动。我们在两个真实世界的材料科学应用上评估了我们的 ZOO 训练方案的性能。我们表明所提方案能有效将科学知识集成到 DL 训练中，并在数据受限的科学应用上优于纯数据驱动模型。我们还讨论了所提方法的一些局限性并提及值得关注的未来方向。
引用
@article{arxiv.2206.02785,
title = {Zeroth-Order SciML: Non-intrusive Integration of Scientific Software with Deep Learning},
author = {Ioannis Tsaknakis and Bhavya Kailkhura and Sijia Liu and Donald Loveland and James Diffenderfer and Anna Maria Hiszpanski and Mingyi Hong},
journal= {arXiv preprint arXiv:2206.02785},
year = {2022}
}