GLAI：通过知识解耦加速训练的GreenLightningAI
机器学习
2026-05-12 v2 人工智能
摘要
本文介绍了GreenLightningAI(GLAI)，一种新的架构模块，用作常规MLP的替代方案。核心思想是分离在训练期间通常交织在一起的两种类型知识：(i)结构知识，通过ReLU激活引起的稳定激活模式编码；(ii)定量知识，由数值权重和偏置携带。通过固定一旦稳定的结构，GLAI将MLP重新表述为路径的组合，其中仅优化定量组件。这种重新表述保留了MLP的通用逼近能力，却实现了更高效的训练过程，平均减少约40%的训练时间。关键的是，GLAI不仅仅是一个分类器，而是一个可以替换MLP的通用模块，适用于从监督头(带固定backbone)到自监督学习中的投影层或few-shot分类器。 在各种实验设置下，GLAI始终能够匹配或优于参数数量相同的MLP，同时收敛更快。总体而言，GLAI确立了一种新的设计原则，为未来集成到Transformer等大规模架构中指明了方向，后者中MLP块占计算资源的主导地位。
引用
@article{arxiv.2510.00883,
title = {GLAI: GreenLightningAI for Accelerated Training through Knowledge Decoupling},
author = {Jose I. Mestre and Alberto Fernández-Hernández and Cristian Pérez-Corral and Manuel F. Dolz and Jose Duato and Enrique S. Quintana-Ortí},
journal= {arXiv preprint arXiv:2510.00883},
year = {2026}
}
备注
20 pages, 2 figures