基于聚类的回声状态网络输入权重初始化
机器学习
2022-05-11 v3 人工智能
神经与进化计算
摘要
回声状态网络（ESNs）是一类特殊的循环神经网络（RNNs），其中输入连接和循环连接传统上随机生成，仅训练输出权重。尽管 ESNs 近期在音频、图像和雷达识别等多种任务中取得成功，我们认为纯随机初始化并非初始化 ESNs 的理想方式。本工作的目的是利用训练数据上的 -Means 算法提出一种无监督的输入连接初始化方法。我们表明，对于大量不同的数据集，该初始化方式性能等同于或优于随机初始化的 ESN，同时所需储备池神经元显著更少。此外，我们讨论该方法提供了基于数据先验知识估计储备池合适规模的机会。
引用
@article{arxiv.2103.04710,
title = {Cluster-based Input Weight Initialization for Echo State Networks},
author = {Peter Steiner and Azarakhsh Jalalvand and Peter Birkholz},
journal= {arXiv preprint arXiv:2103.04710},
year = {2022}
}
备注
Accepted for publication in IEEE Transactions on Neural Network and Learning System (TNNLS), 2022