稀疏Tsetlin机：稀疏表示与主动文字
机器学习
2024-05-14 v2 人工智能
形式语言与自动机理论
摘要
本文介绍了稀疏Tsetlin机（STM），这是一种新型Tsetlin机（TM），能够高效处理稀疏数据。传统TM并不考虑数据特性，如自然语言处理应用中常见的稀疏性，以及其他基于词袋的表示方法。因此，TM必须初始化、存储和处理大量零值，导致内存使用和计算时间的浪费。之前尝试创建稀疏TM的尝试大多不成功，主要原因是无法识别哪些文字对于TM训练足够。通过引入主动文字（Active Literals, AL），STM可以仅聚焦于当前数据表示中积极贡献的文字，显著降低内存占用和计算时间，同时表现出竞争的分类性能。
引用
@article{arxiv.2405.02375,
title = {The Sparse Tsetlin Machine: Sparse Representation with Active Literals},
author = {Sebastian Østby and Tobias M. Brambo and Sondre Glimsdal},
journal= {arXiv preprint arXiv:2405.02375},
year = {2024}
}
备注
8 pages, 8 figures