基于张量的柔性神经网络训练框架
机器学习
2021-06-28 v1 人工智能
摘要
激活函数（AFs）是神经网络（NNs）设计的重要部分，其选择对NN性能起主导作用。本文特别关注使用基于张量的解来估计柔性激活函数，其中AFs表示为预定义基函数的加权和。为此，我们提出一种求解约束耦合矩阵-张量分解（CMTF）问题的新学习算法。该技术在融合NN一阶与零阶信息，其中一阶信息包含于Jacobian张量中，并遵循约束规范多向分解（CPD）。所提算法可处理不同分解基。该方法的目标是通过替换子网络（即原始网络的一层或多层）为新的柔性层，来压缩大型预训练NN模型。该方法应用于用于字符分类的预训练卷积神经网络（CNN）。
引用
@article{arxiv.2106.13542,
title = {Tensor-based framework for training flexible neural networks},
author = {Yassine Zniyed and Konstantin Usevich and Sebastian Miron and David Brie},
journal= {arXiv preprint arXiv:2106.13542},
year = {2021}
}
备注
26 pages, 13 figures