用于非负稀疏近似的不连续神经网络
神经与进化计算
2016-03-22 v1 最优化与控制
神经元与认知
摘要
本文研究一种不连续神经网络，它可用作哺乳动物嗅觉系统的模型，且更一般地可应用于求解非负稀疏近似问题。通过固有地限制系统积分器的输出为非负，系统函数变得不连续，因为积分器在 inactive 与 active 之间切换。研究表明，所提出的网络收敛到平衡点，这些平衡点是一般非负最小二乘优化问题的解。我们给出了一个 Caratheodory 解，并证明在系统矩阵具有满列秩的条件下网络是稳定的。在平衡点的一个温和条件下，我们证明网络在有限次切换内收敛到其平衡。展示了该神经网络的两个应用。首先，我们将该网络作为嗅觉系统的模型，并表明原则上它可能能够执行复杂的稀疏信号恢复任务。其次，我们将应用推广到包含非负稀疏近似问题，并将恢复性能与经典的非负基追踪去噪算法进行比较。我们得出结论：恢复性能与经典算法仅有微小差异，而不连续神经网络的优势在于无需在恢复前选择对性能关键的正则化参数。
引用
@article{arxiv.1603.06353,
title = {A Discontinuous Neural Network for Non-Negative Sparse Approximation},
author = {Martijn Arts and Marius Cordts and Monika Gorin and Marc Spehr and Rudolf Mathar},
journal= {arXiv preprint arXiv:1603.06353},
year = {2016}
}