TinyTNAS：面向TinyML时间序列分类的无GPU、时限、硬件感知神经网络架构搜索
机器学习
2024-08-30 v1
摘要
本文提出了TinyTNAS，这是一种专为TinyML时间序列分类设计的硬件感知多目标神经网络架构搜索(NAS)工具。不同于依赖GPU能力的传统NAS方法，TinyTNAS能在CPU上高效运行，适用范围更广。用户可定义RAM、FLASH和MAC操作的约束，发现满足这些参数的最优神经网络架构。此外，工具支持时限搜索，确保能在用户指定的时间内找到最佳模型。在UCI HAR、PAMAP2、WISDM、MIT BIH和PTB Diagnostic ECG Database等基准数据集上实验，TinyTNAS在显著降低RAM、FLASH、MAC使用量和延迟的同时，实现了超越现有方法的准确率。例如，在UCI HAR数据集上，TinyTNAS实现了RAM使用量降低12倍、MAC操作降低144倍、FLASH内存降低78倍，同时将延迟降低149倍，保持优异的准确率。同样，在PAMAP2和WISDM数据集上，分别实现了RAM降低6倍、MAC降低40倍、FLASH降低83倍、延迟降低67倍，同时保持优异的准确率。值得注意的是，在CPU环境下，搜索过程仅需10分钟即可完成。这些结果凸显了TinyTNAS在资源受限的TinyML应用中有效优化神经网络架构的能力，确保了效率与高性能的平衡。TinyTNAS的代码已提供，访问地址为 https://github.com/BidyutSaha/TinyTNAS.git。
引用
@article{arxiv.2408.16535,
title = {TinyTNAS: GPU-Free, Time-Bound, Hardware-Aware Neural Architecture Search for TinyML Time Series Classification},
author = {Bidyut Saha and Riya Samanta and Soumya K. Ghosh and Ram Babu Roy},
journal= {arXiv preprint arXiv:2408.16535},
year = {2024}
}