基于指令级优化的CPU快速紧凑Tsetlin机器推理
机器学习
2025-10-20 v1
摘要
Tsetlin机器(TM)提供在资源受限设备如CPU上进行的高速推理。其以逻辑为驱动的操作天然适合在现代CPU架构上进行并行执行。为此，我们提出一种通过利用指令级位操作实现TM高效软件实现的方案，以实现紧凑的模型表示和加速处理。为进一步提高推理速度，我们引入一种 early exit 机制，利用TM基于AND的子句评估以避免不必要的计算。建立在此基础上，我们提出一种字面重排策略，旨在最大化 early exit 的可能性。该策略在训练后、推理前通过对所有字面及其关联Tsetlin自动机(TA)的动作进行统计分析来应用，引入的运行时开销可忽略不计。使用 ARM 处理器的 gem5 模拟器进行的实验结果表明，我们的优化实现在推理时间上比传统基于整数的TM实现缩短了最高可达 96.71%，同时保持了可比的代码密度。
引用
@article{arxiv.2510.15653,
title = {Fast and Compact Tsetlin Machine Inference on CPUs Using Instruction-Level Optimization},
author = {Yefan Zeng and Shengyu Duan and Rishad Shafik and Alex Yakovlev},
journal= {arXiv preprint arXiv:2510.15653},
year = {2025}
}