反馈对齐算法的精度与鲁棒性基准测试
机器学习
2021-09-01 v1
摘要
反向传播因其简单性、高效性和高收敛率而成为训练深度神经网络的首选算法。然而，其要求使其无法在人脑中实现。近年来，人们提出了更多具有生物学合理性的学习方法。其中一些方法可以匹配反向传播的精度，同时提供其他额外优势，例如在专用硬件（如 ASIC）上更快的训练或对对抗攻击更高的鲁棒性。尽管该领域的兴趣日益增长，但仍需要开源库和工具包以促进研究并对算法进行基准测试。在本文中，我们提出 BioTorch，一个用于创建、训练和基准测试受生物学启发神经网络的软件框架。此外，我们研究了文献中提出的几种反馈对齐方法的性能，从而揭示了前向与反向权重初始化以及优化器选择的重要性。最后，我们提供了这些方法针对最先进的白盒和黑盒对抗攻击的鲁棒性研究。
引用
@article{arxiv.2108.13446,
title = {Benchmarking the Accuracy and Robustness of Feedback Alignment Algorithms},
author = {Albert Jiménez Sanfiz and Mohamed Akrout},
journal= {arXiv preprint arXiv:2108.13446},
year = {2021}
}