SOI：通过估计模型的部分状态来降低计算复杂度
机器学习
2024-10-08 v1 声音
音频与语音处理
摘要
消费电子产品过去遵循着摩尔定律所描述的微型化趋势。尽管微控制器单元（MCU）的处理能力不断提升，但在最小化 appliance 中使用的 MCU 仍无法运行甚至是中等规模的先进人工神经网络（ANNs），尤其是在时间敏感的场景下。本文提出了一种新方法，称为离散在线推断（SOI），旨在降低 ANNs 的计算复杂度。SOI 利用时间序列数据和模型预测的连续性与季节性，实现对处理速度的外推，特别是在更深的网络层中。通过应用压缩技术，SOI 生成更通用的 ANNs 的内部部分状态，从而在每次推断时跳过完整的模型重计算。
引用
@article{arxiv.2410.03813,
title = {SOI: Scaling Down Computational Complexity by Estimating Partial States of the Model},
author = {Grzegorz Stefański and Paweł Daniluk and Artur Szumaczuk and Jakub Tkaczuk},
journal= {arXiv preprint arXiv:2410.03813},
year = {2024}
}
备注
NeurIPS 2024