用于监督学习的对比相似性匹配
机器学习
2020-12-08 v5 神经元与认知
机器学习
摘要
我们提出了一种新颖的、具有生物学合理性的信用分配问题解决方案，其动机来自腹侧视觉通路和已训练深度神经网络的观察。在这两者中，同一类别物体的表征逐渐变得更相似，而属于不同类别的物体变得较不相似。我们利用这一观察来驱动深度网络中逐层特定的学习目标：每一层旨在学习一个表征相似性矩阵，该矩阵在前一层与后一层之间插值。我们使用对比相似性匹配目标函数来表述这一思想，并从中推导出具有前馈、侧向和反馈连接以及表现出生物学合理的赫布(Hebbian)与反赫布(anti-Hebbian)可塑性的神经元的深度神经网络。对比相似性匹配可解释为基于能量的学习算法，但在对比函数的构造方式上与其他算法有显著区别。
引用
@article{arxiv.2002.10378,
title = {Contrastive Similarity Matching for Supervised Learning},
author = {Shanshan Qin and Nayantara Mudur and Cengiz Pehlevan},
journal= {arXiv preprint arXiv:2002.10378},
year = {2020}
}