Tsetlin 机器中的状态空间与消除推理

Tsetlin 机器（TM）在机器学习领域获得了广泛关注。通过运用逻辑基础，TM 促进模式学习和表征，为以具体目标为导向的可解释人工智能（AI）提供了一种替代方法，特别关注以 conjunctive 子句形式的模式分类。在自然语言处理（NLP）领域中，TM 用于构建词嵌入并描述目标词。为增强这些子句的描述能力，我们研究了子句 formulation 中的消除推理（Reasoning by Elimination, RbE）概念，这涉及到 incorporating feature 否定，以提供更为全面的表征。具体而言，本文采用 Tsetlin 机器自编码器（TM-AE）架构生成稠密词向量，旨在通过提取给定词汇表的 feature-dense 向量来捕获情境信息。随后探讨 RbE 的原理，以提高描述性并优化 TM 的性能。具体地，通过 specificity 参数 $s$ 和 voting margin 参数 $T$ 来调节特征在状态空间中的分布，从而为每个子句实现稠密表征。此外，我们研究 TM-AE 的状态空间，尤其是对于被遗忘/排除特征的情况。在人工生成数据、IMDB 数据集和 20 Newsgroups 数据集上进行的实证研究表明，TM 在鲁棒性方面表现出色，IMDB 数据集上的准确率达到 90.62%。