基于预训练内部世界层的深度学习：Gemma 3 架构用于野火预测
机器学习
2025-04-29 v1 人工智能
摘要
深度学习模型，尤其是大型 Transformer，携带了 substantial "记忆" 于其中间层——一种编码丰富关系与语境知识的 "内部世界"。本工作利用该内部世界进行野火发生预测，通过在 Gemma 3 基础上构建模块化架构。我们不依赖 Gemma 3 的原始嵌入和位置编码堆栈，而开发自定义前馈模块，将表格型野火特征转换为 Gemma 3 中层 Transformer 块所需的隐藏维度。我们冻结这些 Gemma 3 子层——保留其预训练表示能力——仅训练较小的输入和输出网络。该方法最小化可训练参数数量，降低在有限野火数据上的过拟合风险，同时保留 Gemma 3 广泛知识的优势。在摩洛哥野火数据集上的评估显示，相较于标准前馈和卷积基线，方法在预测准确性和鲁棒性方面均取得改进。消融研究表明，冻结的 Transformer 层始终有助于更佳表征，凸显了将大型模型中层作为学习的内部世界进行重用的可行性。我们的发现表明，战略性地重用预训练 Transformer 可为临庭环境应用（如野火风险管理）构建更数据高效和可解释的解决方案。
关键词
引用
@article{arxiv.2504.18562,
title = {Deep Learning with Pretrained 'Internal World' Layers: A Gemma 3-Based Modular Architecture for Wildfire Prediction},
author = {Ayoub Jadouli and Chaker El Amrani},
journal= {arXiv preprint arXiv:2504.18562},
year = {2025}
}