科学中的 AI 是否需要另一个 ImageNet 还是完全不同的基准？以机器学习力场为例
机器学习
2023-08-14 v1 计算物理
摘要
科学中的 AI（AI4S）是一个新兴研究领域，旨在利用机器学习方法提升科学计算任务的精度与速度。传统 AI 基准方法难以适应 AI4S 带来的独特挑战，因为它们假设训练、测试及未来真实查询中的数据独立同分布，而 AI4S 工作负载预期分布外问题实例。本文以机器学习力场（MLFF）为案例，探讨有效基准化科学中 AI 所需的新方法之必要性。MLFF 是一种以低计算成本和高精度加速分子动力学（MD）模拟的方法。我们识别出在科学有意义基准化中被错失的多种机会，并提出评估 MLFF 模型的方案，具体涉及样本效率、时域敏感性与跨数据集泛化能力方面。通过构建类似于实际科学应用的问题实例化，可从基准中获得更有意义的性能指标。与传统 AI 基准方法论相比，这套指标已展现出更好的评估模型在真实科学应用中表现的能力。本工作是 SAIBench 项目（一个 AI4S 基准套件）的组成部分。项目主页为 https://www.computercouncil.org/SAIBench。
引用
@article{arxiv.2308.05999,
title = {Does AI for science need another ImageNet Or totally different benchmarks? A case study of machine learning force fields},
author = {Yatao Li and Wanling Gao and Lei Wang and Lixin Sun and Zun Wang and Jianfeng Zhan},
journal= {arXiv preprint arXiv:2308.05999},
year = {2023}
}