BigBang-Proton 技术报告：下一词预测是科学多任务学习器
机器学习
2025-10-02 v1 材料科学
人工智能
计算物理
摘要
我们介绍 BigBang-Proton，这是一种基于序列的统一架构，用于在跨尺度、跨结构、跨学科的真实世界科学任务上进行自回归语言建模，以构建科学多任务学习器。与主流通用大型语言模型相比，BigBang-Proton 包含三个根本性创新：Theory-Experiment 学习范式将大规模数值实验数据与理论文本语料对齐；Binary Patch Encoding 替代字节对编码 (BPE) 标记化；蒙特卡洛注意力取代传统变压器架构。通过在跨学科科学数据集上进行下一词预测预训练，这些数据集包含真实世界问题与通用文本语料的混合，然后进行下游任务的微调和推断，BigBang-Proton 在最高可达 50 位十进制数相加运算中实现 100% 准确率，在粒子物理喷流标记中表现出与领先专用模型持平的性能，在原子间势能模拟中匹配专用模型的 MAE，在水质预测中表现出与传统时空模型相当的性能，并在基因组建模中实现超越基准的性能。这些结果证明了语言引导的科学计算能够在保持多任务学习能力的同时，匹配或超过任务特定科学模型的性能。我们进一步假设将预训练扩展到宇宙尺度，以发展物质世界基础模型的关键一步。
引用
@article{arxiv.2510.00129,
title = {BigBang-Proton Technical Report: Next-Word-Prediction is Scientific Multitask Learner},
author = {Hengkui Wu and Liujiang Liu and Jihua He and Qihao Wang and Keke Zhao and Shuyang Hu and Renle Fu and Dahao Liang and Lingyu Zeng and Bruce Liu and Yuan Liu and Jin Zhan and Jiaqiang Niu and Xinglong Jia and Yaqin Hu and Wenjun Ji and Panpan Chi and Ken Chen and Hengyuan Wu and Yingsi Xin and Yongfeng Zhu and Yuexin Wang and Manqi Ruan and Ningtao Bian and Xiaohua Wu and Weipeng Xu},
journal= {arXiv preprint arXiv:2510.00129},
year = {2025}
}
备注
93 pages, 39 figures