稀疏混合线性-形态网络
机器学习
2025-04-15 v1
摘要
我们研究了混合线性-形态网络。近期研究表明，形态层对修剪天然具有亲和性，但训练难度较大。我们提出一种混合网络结构，在网络的线性层之间插入形态层，以取代激活函数的作用。我们实验的形态层包括：1) maxout 池积层（作为一种特殊的形态层），2) 全连接稠密形态层，以及 3) 一种新颖的稀疏初始化变体（2）。我们在 Magna-Tag-A-Tune（音乐自动标记）和 CIFAR-10（图像分类）数据集上进行实验，将最先进的卷积网络架构的线性分类头替换为我们提出的各种形态层结构。我们证明，这些网络对线性层诱导稀疏性，使其在 L1 不规则修剪下更易修剪。我们还表明，在 MTAT 数据集上，我们提出的稀疏初始化层在 ReLU、maxout 和稠密初始化 max-plus 层方面略胜一筹，并表现出更快的初始收敛速度。
引用
@article{arxiv.2504.09289,
title = {Sparse Hybrid Linear-Morphological Networks},
author = {Konstantinos Fotopoulos and Christos Garoufis and Petros Maragos},
journal= {arXiv preprint arXiv:2504.09289},
year = {2025}
}