不可知物理驱动的深度学习
机器学习
2022-05-31 v1
摘要
本工作确立了一个物理系统可以在无梯度计算的情况下进行统计学习，通过一种不可知平衡传播(Aeqprop)过程，该过程结合了能量最小化、稳态控制以及向正确响应的微扰。在 Aeqprop 中，系统的具体细节不必已知：该过程仅基于外部操控，并在无显式梯度计算的情况下产生随机梯度下降。得益于微扰，系统对每个训练样本执行真正的、一阶梯度步，这与依赖试错的强化或进化策略等零阶方法形成对比。该过程将统计学习的潜在硬件范围大幅拓宽至任何具有足够可控参数的系统，即使系统细节鲜为人知。Aeqprop 还确立，在自然(生物)物理系统中，真正的基于梯度的统计学习可能源于通用、相对简单的机制，而无需反向传播及其对偏导解析知识的要求。
引用
@article{arxiv.2205.15021,
title = {Agnostic Physics-Driven Deep Learning},
author = {Benjamin Scellier and Siddhartha Mishra and Yoshua Bengio and Yann Ollivier},
journal= {arXiv preprint arXiv:2205.15021},
year = {2022}
}