ETHEREAL：基于压缩集合逻辑机的能源高效高吞吐推理
机器学习
2025-02-11 v1
摘要
集合逻辑机（Tsetlin Machine，TM）是深度神经网络（DNN）的一种新颖替代方案。与DNN不同，TM使用集合逻辑自动机从数据文字中学习命题逻辑模式。这种从算术向逻辑的根本性转变使得TM适用于以低成本实现为特征的新应用。在TM中，文字常由同一类别中的正负子句共同包含，从而抵消其对单个类别定义的影响。这种属性可用于开发压缩TM模型，以实现机器学习（ML）应用的能源高效和高吞吐推理。我们引入一种训练方法，纳入被排除的自动机状态，以在正负子句中稀疏化TM逻辑模式。这种排除是迭代式的，确保高度类别相关（因此重要）的文字被保留在压缩推理模型ETHEREAL中，以维持良好的分类准确度。与标准TM相比，ETHEREAL TM模型可在模型大小上减少最高达87.54%，仅产生轻微的准确度牺牲。我们在八个真实世界的Tiny机器学习（TinyML）数据集上验证了这种压缩对标准TM、相当于随机森林（RF）和二值化神经网络（BNN）的影响，测试平台为STM32F746G-DISCO。我们的结果表明，ETHEREAL TM模型在BNN之上实现了推理时间和能源消耗的数量级以上减少（导致更高吞吐量），同时相对于RF拥有显着更小的内存占用。
引用
@article{arxiv.2502.05640,
title = {ETHEREAL: Energy-efficient and High-throughput Inference using Compressed Tsetlin Machine},
author = {Shengyu Duan and Rishad Shafik and Alex Yakovlev},
journal= {arXiv preprint arXiv:2502.05640},
year = {2025}
}
备注
Accepted as a full paper by the 2025 EDGE AI FOUNDATION Austin