Omni TM-AE：充分利用Tsetlin机完整状态空间的可扩展且可解释嵌入模型
机器学习
2025-05-23 v1
摘要
大规模语言模型的复杂性不断增加，放大了其解释性和可复用性的关注度。虽然传统嵌入模型如Word2Vec和GloVe在可扩展性方面表现出色，但缺乏透明度，常表现为黑箱。相反，可解释模型如Tsetlin Machine（TM）在构建可解释学习系统方面显示出前景，但以往在可扩展性和可复用性方面存在局限。本文引入Omni Tsetlin Machine AutoEncoder（Omni TM-AE），一种新型嵌入模型，充分利用TM状态矩阵中包含的全部信息，包括此前在子句形成中被排除的文字。该方法通过单一训练阶段构建可复用且可解释的嵌入。广泛的实验在语义相似性、情感分类和文档聚类任务上表明，Omni TM-AE在性能上与主流嵌入模型相当，甚至常常优于后者。这些结果表明，在不诉诸不透明体系结构的情况下，仍可在现代自然语言处理（NLP）系统中实现性能、可扩展性和可解释性之间的平衡。
引用
@article{arxiv.2505.16386,
title = {Omni TM-AE: A Scalable and Interpretable Embedding Model Using the Full Tsetlin Machine State Space},
author = {Ahmed K. Kadhim and Lei Jiao and Rishad Shafik and Ole-Christoffer Granmo},
journal= {arXiv preprint arXiv:2505.16386},
year = {2025}
}