MLP 的仿态初始化
机器学习
2026-02-10 v1 人工智能
计算机视觉与模式识别
摘要
仿态初始化利用预训练模型作为良好初始化的案例研究，观察训练后权重中的结构，以激发新的简单初始化技术。迄今为止，该方法仅适用于空间混合层，如卷积层、自注意力层和状态空间层。在本文中，我们首次尝试将该方法应用于通道混合层，即多层感知器 (MLP)。我们的极其简单的方法——为第一层提供非零均值——可加速在小规模视觉任务上的训练，如 CIFAR-10 和 ImageNet-1k。虽然其效果远小于空间混合初始化，但可与之结合使用以获得额外的正向效果。
引用
@article{arxiv.2602.07156,
title = {Mimetic Initialization of MLPs},
author = {Asher Trockman and J. Zico Kolter},
journal= {arXiv preprint arXiv:2602.07156},
year = {2026}
}