利用确定性变换设计神经网络权值矩阵
机器学习
2021-10-08 v1
摘要
自规模估计前馈网络（SSFN）是一种前馈多层网络。对于现有SSFN，每个权值矩阵的一部分使用逐层凸优化方法（有监督训练）训练，另一部分选为随机矩阵实例（无监督训练）。本文探讨了以确定性变换替代随机矩阵实例用于SSFN权值矩阵。使用确定性变换降低了计算复杂度。研究了若干确定性变换的使用，如离散余弦变换、哈达玛变换、哈特利变换和小波变换。在一组变换中对确定性变换的选择以无监督方式作出。为此，基于特征统计参数开发了两种方法。所提方法有助于设计一种各层权值矩阵可采用不同确定性变换的神经网络。使用多个基准数据集，针对目标分类任务说明了所提方法相对于SSFN的有效性。
引用
@article{arxiv.2110.03515,
title = {Use of Deterministic Transforms to Design Weight Matrices of a Neural Network},
author = {Pol Grau Jurado and Xinyue Liang and Alireza M. Javid and Saikat Chatterjee},
journal= {arXiv preprint arXiv:2110.03515},
year = {2021}
}
备注
Accepted to the 29th European Signal Processing Conference, EUSIPCO 2021, Dublin, Ireland