通过带门控压缩层提升嵌入式机器学习的用户体验
机器学习
2024-05-06 v1
摘要
嵌入式机器学习（On-device machine learning, ODML）使强大的边缘应用成为可能，但功耗仍是资源受限设备的关键挑战。为此，开发人员常需在模型准确率与功耗之间权衡，采用要么在高功耗核心上运行计算密集型模型，要么在低功耗核心上运行精简模型。这两种方法通常都会导致用户体验（UX）的妥协。本文聚焦于带门控压缩（Gated Compression, GC）层，用于在节省功耗的同时提升ODML模型性能并最大化成本效益，尤其适用于持续运行的场景。GC层通过对神经网络神经元激活进行选择性门控，有效过滤非关键输入，从而在不牺牲准确率的前提下降低功耗需求，并实现异构计算核心上的更高效执行。这些改进通过延长电池寿命、提升设备响应速度和增强用户舒适度等方面提升了用户体验。本文将GC层集成到视觉和语音领域的模型中，包括基于Transformer的ViT模型。我们的实验表明，持续运行场景下的理论功耗效率提升范围为158倍至30,000倍。这一显著的改进使ODML应用能够实现更好的用户体验收益。
引用
@article{arxiv.2405.01739,
title = {Enhancing User Experience in On-Device Machine Learning with Gated Compression Layers},
author = {Haiguang Li and Usama Pervaiz and Joseph Antognini and Michał Matuszak and Lawrence Au and Gilles Roux and Trausti Thormundsson},
journal= {arXiv preprint arXiv:2405.01739},
year = {2024}
}
备注
Initial Submission