LUMOS：基于 L0 正则化学习 democratizing SciML 工作流程以统一特征和参数适应
机器学习
2026-02-27 v1
摘要
科学机器学习(SciML) 的快速增长加速了跨领域的发现，但设计有效的 SciML 模型仍然具有挑战性。在实践中，构建此类模型通常需要 substantial 先验知识和手动专业知识，特别是确定应使用哪些输入特征以及模型应多大。在本文中，我们引入 LUMOS，一个基于 L0 正则化学习的端到端框架，用于统一特征选择和模型修剪以 democratize SciML 模型设计。通过采用半随机门控和 reparameterization 技术，LUMOS 在训练期间动态选择信息丰富的特征并修剪冗余参数，减少对手动调优的依赖，同时保持预测准确性。我们在 13 个多样化的 SciML 工作负载上评估了 LUMOS，包括宇宙学和分子科学，展示了其有效性和通用性。在 13 个 SciML 模型上的实验表明，LUMOS 在平均情况下实现了 71.45% 参数降低和 6.4 倍推理加速。此外，分布式数据并行(DDP)训练在最高 8 块 GPU 上确认了其可扩展性。
引用
@article{arxiv.2602.22537,
title = {LUMOS: Democratizing SciML Workflows with L0-Regularized Learning for Unified Feature and Parameter Adaptation},
author = {Shouwei Gao and Xu Zheng and Dongsheng Luo and Sheng Di and Wenqian Dong},
journal= {arXiv preprint arXiv:2602.22537},
year = {2026}
}