JARVIS-Leaderboard：材料设计方法的大规模基准平台
材料科学
2024-05-28 v2
摘要
缺乏严格的复现性与验证是许多领域科学发展的主要障碍。材料科学尤其涵盖多种实验与理论方法，需要审慎的基准测试。此前已开发若干排行榜工作以缓解这些问题。然而，仍缺乏一个在集成平台上、涵盖多种数据模态且同时包含完美与缺陷材料数据进行全面比较与基准测试的工作。本文介绍 JARVIS-Leaderboard，一个开源、社区驱动的平台，促进基准测试并增强可复现性。该平台允许用户以自定义任务建立基准，并以数据集、代码与元数据提交的形式贡献。我们涵盖以下材料设计类别：人工智能(AI)、电子结构(ES)、力场(FF)、量子计算(QC)与实验(EXP)。对于 AI，我们涵盖多种输入数据类型，包括原子结构、原子图像、谱学与文本。对于 ES，我们考虑多种 ES 方法、软件包、赝势、材料与性质，并将结果与实验对比。对于 FF，我们比较多种材料性质预测方法。对于 QC，我们使用各类量子算法与线路对哈密顿量模拟进行基准测试。最后，对于实验，我们采用实验室间方法建立基准。目前已有 152 种方法对 274 个基准做出 1281 项贡献，数据点数超 800 万，且排行榜持续扩展。JARVIS-Leaderboard 可通过网站获取：https://pages.nist.gov/jarvis_leaderboard
引用
@article{arxiv.2306.11688,
title = {JARVIS-Leaderboard: A Large Scale Benchmark of Materials Design Methods},
author = {Kamal Choudhary and Daniel Wines and Kangming Li and Kevin F. Garrity and Vishu Gupta and Aldo H. Romero and Jaron T. Krogel and Kayahan Saritas and Addis Fuhr and Panchapakesan Ganesh and Paul R. C. Kent and Keqiang Yan and Yuchao Lin and Shuiwang Ji and Ben Blaiszik and Patrick Reiser and Pascal Friederich and Ankit Agrawal and Pratyush Tiwary and Eric Beyerle and Peter Minch and Trevor David Rhone and Ichiro Takeuchi and Robert B. Wexler and Arun Mannodi-Kanakkithodi and Elif Ertekin and Avanish Mishra and Nithin Mathew and Sterling G. Baird and Mitchell Wood and Andrew Dale Rohskopf and Jason Hattrick-Simpers and Shih-Han Wang and Luke E. K. Achenie and Hongliang Xin and Maureen Williams and Adam J. Biacchi and Francesca Tavazza},
journal= {arXiv preprint arXiv:2306.11688},
year = {2024}
}