面向新兴存储技术的深度神经网络低秩训练
机器学习
2021-07-16 v2 机器学习
摘要
近来神经网络在解决困难决策任务上的成功激励了在“边缘端”融入智能决策。然而，由于内存与计算限制，尤其在写入能耗高且寿命缩短的新兴非易失性存储系统中，该工作传统上聚焦于神经网络推理而非训练。然而，边缘端训练的能力正变得愈发重要，因为它实现了对器件漂移与环境变化的实时适应、用户定制以及跨设备的联邦学习。在本工作中，我们解决了在非易失性存储器上边缘设备训练的两个关键挑战：低写入密度与低辅助内存。我们提出了一种低秩训练方案，在保持计算效率的同时应对这些挑战。随后我们在多个自适应问题上于一个代表性卷积神经网络上演示该技术，其在精度与权重写入次数上均优于标准 SGD。
引用
@article{arxiv.2009.03887,
title = {Low-Rank Training of Deep Neural Networks for Emerging Memory Technology},
author = {Albert Gural and Phillip Nadeau and Mehul Tikekar and Boris Murmann},
journal= {arXiv preprint arXiv:2009.03887},
year = {2021}
}