带子句共享的合并式多输出Tsetlin机

Tsetlin机（TM）利用有限状态机学习模式，在多个基准上取得了具有竞争力的准确率和学习速度，且内存与能耗 footprint 节俭。TM 将模式表示为命题逻辑中的合取子句（AND 规则），每个子句对一个特定输出投赞成或反对票。虽然在单输出问题上高效，但多输出问题需要为每个输出单独使用一个 TM。采用多个 TM 阻碍了模式复用，因为每个 TM 各自为政。本文引入子句共享，将多个 TM 合并为一个。每个子句通过使用一个权重与每个输出相关联：正权重使子句为输出 $1$ 投票，负权重使子句为输出 $0$ 投票。从而子句合并以产生多个输出。所得合并式 Tsetlin机（CoTM）通过采用交互式在线搜索（SSL）与 Tsetlin 自动机（TA）团队，同时学习权重与每个子句的构成。我们在 MNIST、Fashion-MNIST 和 Kuzushiji-MNIST 上的实证结果表明，CoTM 在 $50$ 至 $1$K 子句配置下比 TM 准确率显著更高，显示出复用子句的能力。例如，在 Fashion-MNIST 上每类使用 $50$ 个子句（22 Kb 内存）时，准确率从 $71.99$% 升至 $89.66$%。虽然在使用每类超过 $1$K 子句时 TM 与 CoTM 准确率相近，但 CoTM 在 MNIST 上用 $8$K 子句达到峰值准确率快 $3$ 倍。我们进一步考察了对训练数据不平衡的鲁棒性。在 IMDb 和 CIFAR10 数据不平衡版本上的评估显示，CoTM 对高度类别不平衡具有鲁棒性。能够共享子句，我们相信 CoTM 将开启涉及多输出的 TM 新应用领域，如学习语言模型与自编码。