去中心化物理驱动学习的演示
无序系统与神经网络
2022-07-26 v4 软凝聚态物质
摘要
在典型的人工神经网络中,神经元根据中央处理器的全局计算进行调整,但在大脑中神经元和突触基于局部信息进行自我调整。对比学习算法近来被提出用于训练物理系统(如流体、机械或电学网络),使其通过局部演化规则执行机器学习任务。然而,由于制造能够基于自身对两组全局边界条件的响应而自主演化的元件存在工程挑战,迄今为止此类系统仅在计算机中(in silico)实现。在此我们引入并实现了一种用于可变电阻网络的物理驱动对比学习方案,利用电路局部比较两个承受不同边界条件组的相同网络的响应。借助这一创新,我们的系统有效地自我训练,在不使用中央处理器或外部信息存储的情况下优化其电阻值。一旦系统针对指定的变构、回归或分类任务完成训练,该任务随后由物理系统对给定电压输入下最小化功耗的必然响应快速且自动地执行。我们证明,与典型计算机不同,此类学习系统由于其去中心化学习而对极端损坏(以及由此产生的制造缺陷)具有鲁棒性。因此,我们的双网络方法易于扩展到极大或非线性的网络,其分布式特性将带来巨大优势;仅含 500 条边的实验室网络就已经能超越其计算机中的对应系统。
引用
@article{arxiv.2108.00275,
title = {Demonstration of Decentralized, Physics-Driven Learning},
author = {Sam Dillavou and Menachem Stern and Andrea J. Liu and Douglas J. Durian},
journal= {arXiv preprint arXiv:2108.00275},
year = {2022}
}
备注
11 pages 7 figures