释放相似度匹配的潜力：可扩展性、监督与预训练
神经与进化计算
2023-08-07 v1 人工智能
机器学习
神经元与认知
摘要
尽管有效，反向传播（BP）算法在生物合理性、计算成本和在线学习适用性方面存在局限。因此，开发依赖局部学习规则的替代性生物合理学习方法的兴趣日益增长。本研究聚焦于主要无监督的相似度匹配（SM）框架，该框架与生物系统中观察到的机制一致，并提供在线、局部化和生物合理的算法。i) 为将SM扩展至大型数据集，我们提出了使用PyTorch实现的卷积非负SM。ii) 我们引入了类似于典型相关分析的局部监督SM目标，便于SM层的堆叠。iii) 我们利用PyTorch实现预训练LeNet等架构，并将特征评估与BP训练的模型进行比较。本工作将生物合理算法与计算效率相结合，为进一步的探索开辟了多条途径。
引用
@article{arxiv.2308.02427,
title = {Unlocking the Potential of Similarity Matching: Scalability, Supervision and Pre-training},
author = {Yanis Bahroun and Shagesh Sridharan and Atithi Acharya and Dmitri B. Chklovskii and Anirvan M. Sengupta},
journal= {arXiv preprint arXiv:2308.02427},
year = {2023}
}