Fermi-Bose 机器实现了泛化与对抗鲁棒性
机器学习
2024-11-11 v2 无序系统与神经网络
统计力学
神经与进化计算
神经元与认知
摘要
与人类认知处理不同，由反向传播训练的深度神经网络容易被对抗样本所欺骗。为设计具有语义意义的表征学习，我们放弃反向传播，提出一种局部对比学习方法，其中在隐藏层中，对相同标签输入的表征会收缩（类似于玻色子），而不同标签输入的表征则相互排斥（类似于费米子）。这种基于层级的学习在本质上是局部的，且具有生物学可行性。统计力学分析表明，目标费米对距离是关键参数。此外，将这种局部对比学习应用于 MNIST 基准数据集后，实验表明，通过调节目标距离（即控制原型流形的几何分离），可显著缓解标准感知器的对抗脆弱性。
关键词
引用
@article{arxiv.2404.13631,
title = {Fermi-Bose Machine achieves both generalization and adversarial robustness},
author = {Mingshan Xie and Yuchen Wang and Haiping Huang},
journal= {arXiv preprint arXiv:2404.13631},
year = {2024}
}
备注
32 pages, 6 figures, a physics inspired machine without backpropagation yet with enhanced adversarial robustness