重新审视用于未知聚类数在线聚类的高斯神经元
机器学习
2022-08-09 v2 计算机视觉与模式识别
神经与进化计算
摘要
尽管人工神经网络近期取得了成功,但可能需要更具生物合理性的学习方法来解决反向传播训练模型的弱点,如灾难性遗忘和对抗攻击。虽然未专门解决这些弱点,本文提出了一种新颖的局部学习规则,该规则执行在线聚类,对要发现的聚类数设定上限而非固定聚类数量。不同于使用正交权重或输出激活约束,激活稀疏性通过侧向高斯神经元的相互排斥来实现,确保多个神经元中心不能占据输入域中的同一位置。还提出了一种更新方法,用于在数据样本可由均值和方差表示时调整高斯神经元的宽度。这些算法应用于MNIST和CIFAR-10数据集,以创建捕捉不同尺寸像素块输入模式的滤波器。实验结果证明了所学参数在大量训练样本下的稳定性。
引用
@article{arxiv.2205.00920,
title = {Revisiting Gaussian Neurons for Online Clustering with Unknown Number of Clusters},
author = {Ole Christian Eidheim},
journal= {arXiv preprint arXiv:2205.00920},
year = {2022}
}
备注
Reviewed at https://openreview.net/forum?id=h05RLBNweX&referrer=%5BTMLR%5D(%2Fgroup%3Fid%3DTMLR)