基于流式样本的多层感知机网络自动构建
机器学习
2020-01-10 v2 神经与进化计算
机器学习
摘要
对于数据流而言，深度神经网络（DNNs）的自主构建是备受期待的，因为它可能带来两个优势：恰当的模型容量以及对漂移和偏移的快速响应。尽管 DNNs 的自组织机制仍是一个开放问题，但相较于采用不同深度结构的方法，为标准多层 DNNs 开发这一任务更具挑战性，因为新增一层会导致先前训练知识的信息丢失。本文提出了一种具有动态演化容量的神经网络（NADINE）。NADINE 的特征在于其完全开放的结构，其网络结构、深度和宽度均能以在线方式从零开始自动演化，且无需使用针对特定问题的阈值。NADINE 构建于标准 MLP 架构之下，并通过提出软遗忘（soft-forgetting）与自适应记忆（adaptive memory）方法，解决了隐藏层添加阶段的灾难性遗忘问题。NADINE 的优势，即弹性结构与在线学习特性，在九个数据流分类与回归问题上得到了数值验证，其在所有问题上均展现出优于著名算法的性能。此外，它能够同样良好地处理数据流回归与分类问题。
引用
@article{arxiv.1910.03437,
title = {Automatic Construction of Multi-layer Perceptron Network from Streaming Examples},
author = {Mahardhika Pratama and Choiru Za'in and Andri Ashfahani and Yew Soon Ong and Weiping Ding},
journal= {arXiv preprint arXiv:1910.03437},
year = {2020}
}
备注
This paper has been accepted for publication in CIKM 2019