功耗高效解的物理学习
无序系统与神经网络
2023-10-17 v1 软凝聚态物质
统计力学
摘要
随着人工智能和计算机器学习(ML)模型的规模与普适性增长,其训练与使用的能耗正迅速变得在经济和环境上不可持续。神经形态计算,或将ML在硬件中实现,有潜力降低这一成本。特别是,近期自学习电子电路的实验室原型——"物理学习机器"的实例——为直接利用物理从样本中学习所需功能的模拟硬件打开了大门。本工作中,我们展示了该硬件平台通过使用良好初始条件以及一种新学习算法,可进一步降低能耗。利用解析计算、仿真与实验,我们表明当学习动力学试图同时最小化解的误差与功耗时,会出现一种权衡——可在降低解精度的代价下实现更大的功耗削减。最后,我们展示了一种实用流程,用以权衡误差最小化与功耗最小化的相对重要性,从而在给定误差容忍度下提升功耗效率。
引用
@article{arxiv.2310.10437,
title = {Physical learning of power-efficient solutions},
author = {Menachem Stern and Sam Dillavou and Dinesh Jayaraman and Douglas J. Durian and Andrea J. Liu},
journal= {arXiv preprint arXiv:2310.10437},
year = {2023}
}
备注
15 pages, 7 figures