利用可逆随机性提升神经乘法单元的鲁棒性
机器学习
2022-11-11 v1 神经与进化计算
摘要
多层感知机在学习某些简单算术任务时存在困难。专用的算术神经模块在外推能力、可解释性和收敛速度上优于经典架构，但对训练范围高度敏感。在本文中，我们表明当给定不同的训练范围时，神经乘法单元 (NMU) 甚至无法可靠地学习如两个输入相乘这样简单的任务。失败的原因与归纳偏置和输入偏置有关，这些偏置促使模型收敛到非期望的极小值。我们提出了一种解决方案——随机 NMU (sNMU)，应用可逆随机性来鼓励避免此类极小值并收敛到真实解。实验表明，随机性提供了更好的鲁棒性，并具有提升上游网络在数值和图像任务中学习到的表示的潜力。
引用
@article{arxiv.2211.05624,
title = {Improving the Robustness of Neural Multiplication Units with Reversible Stochasticity},
author = {Bhumika Mistry and Katayoun Farrahi and Jonathon Hare},
journal= {arXiv preprint arXiv:2211.05624},
year = {2022}
}
备注
26 pages (10 page main body)