Omnibenchmark：透明、可重复、可扩展且标准化的单项与协作基准测试编排系统
其他定量生物学
2026-02-12 v2
摘要
基准测试涉及设计、运行和 disseminating 对方法进行严格绩效评估的过程，通常用于数据分析和软件工具，也可用于实验系统。在理想情况下，基准测试系统用于提供结构化入口，以设计、协调、执行和存储标准化基准测试。我们描述了一种新型基准测试系统——Omnibenchmark，它旨在促进单人和社区协作中的基准化和执行。Omnibenchmark 提供灵活的基准计划语法（即配置文件 YAML）、基于 Snakemake 的动态工作流程生成、S3 兼容存储处理，以及使用环境模块、Apptainer 或 Conda 实现可重复的软件环境。这种设置提供了前所未有的灵活性，使得现有基准设计可以被 Fork 和扩展，独立或协作运行，生成带版本号和标准化结果输出，从而为基准结果的分析和解释提供了所需的透明度。Omnibenchmark 提供了灵活的基准计划语法（即配置文件 YAML）、基于 Snakemake 的动态工作流程生成、S3 兼容存储处理，以及使用环境模块、Apptainer 或 Conda 实现可重复的软件环境。教程和安装说明可在 https://omnibenchmark.org 获取。
引用
@article{arxiv.2409.17038,
title = {Omnibenchmark: transparent, reproducible, extensible and standardized orchestration of solo and collaborative benchmarks},
author = {Izaskun Mallona and Almut Luetge and Ben Carrillo and Daniel Incicau and Reto Gerber and Aidan Meara and Anthony Sonrel and Charlotte Soneson and Mark D. Robinson},
journal= {arXiv preprint arXiv:2409.17038},
year = {2026}
}
备注
20 page, 2 figures