用于量热计的通用基础模型：基于混合专家与参数高效微调

现代粒子物理实验面临对高保真度探测器模拟日益增长的需求，随着亮度上升和计算需求接近可用资源的极限。深度生成模型已成为传统蒙特卡洛模拟的有前景替代方案，近期的进展借鉴了大语言模型（LLM）和下一步预测范式。在这项工作中，我们引入了一个基于下一步变换器（next-token transformer）骨干网络的通用量热计基础模型，旨在支持跨材料、粒子种类和探测器配置模块化适配。我们的方法结合了混合专家预训练与参数高效微调策略，以实现受控的、增量式的模型扩展而不发生灾难性遗忘。预训练骨干网络被训练为在多种吸收体材料中生成电磁簇射，而新材料通过添加和微调轻量级专家模块来引入。新粒子类型的扩展通过参数高效微调和模块化词汇表实现，从而保持基础模型的完整性。该设计使得随着新模拟数据集的可用性进行高效增量知识集成，这是实际探测器开发工作流中的关键需求。此外，我们证明下一步量热计模型在已建立的 LLM 优化程序下与标准生成方法具有计算竞争力。这些结果确立了下一步架构作为通向可扩展、物理感知型量热计基础模型和未来高能物理实验的可行路径。