关于组稀疏自编码器的收敛性
机器学习
2022-01-24 v2
摘要
近期基于模型的深度学习架构理论分析的研究,探讨了源于隐藏层稀疏的生成模型所引发的浅层 ReLU 网络中梯度下降的收敛性。受施加结构化稀疏形式架构成功的启发,我们引入并研究了一种组稀疏自编码器,其涵盖多种生成模型,并利用组稀疏 ReLU 激活函数迫使给定层的非零单元以块形式出现。对于聚类模型,导致相同活跃单元组的输入属于同一簇。我们进而分析了所提自编码器的浅层实例在遵循组稀疏生成模型的数据训练下的梯度动态。在此设定下,我们从理论上证明了网络参数收敛至生成矩阵邻域。我们通过数值分析验证模型,并凸显具有组稀疏 ReLU 的网络相较于使用传统 ReLU 的网络在稀疏编码和参数恢复任务中的优越性能。我们还提供真实数据实验以佐证仿真结果,并强调结构化稀疏模型的聚类能力。
引用
@article{arxiv.2102.07003,
title = {On the convergence of group-sparse autoencoders},
author = {Emmanouil Theodosis and Bahareh Tolooshams and Pranay Tankala and Abiy Tasissa and Demba Ba},
journal= {arXiv preprint arXiv:2102.07003},
year = {2022}
}