基于Kronecker多层架构的深度学习权重矩阵降维
机器学习
2023-01-19 v2 数值分析
数值分析
摘要
使用神经网络的深度学习是生成复杂数据模型的有效技术。然而，当网络因层数和节点数众多而具有大模型容量时，训练此类模型可能代价高昂。在这种计算上难以承受的情况下，降维技术可缓解计算负担，并允许实现更鲁棒的网络。我们通过对基于Kronecker积分解的快速矩阵乘法的新深度学习架构，提出了一种此类降维的新方法；特别地，我们的网络结构可视为“扩展”全连接网络的Kronecker积诱导稀疏化。分析和实际示例表明，该架构使神经网络能以显著减少的计算时间和资源进行训练与实现，同时达到与传统前馈神经网络相似的误差水平。
引用
@article{arxiv.2204.04273,
title = {Weight Matrix Dimensionality Reduction in Deep Learning via Kronecker Multi-layer Architectures},
author = {Jarom D. Hogue and Robert M. Kirby and Akil Narayan},
journal= {arXiv preprint arXiv:2204.04273},
year = {2023}
}