支持近乎常数时间扩展的大规模并行异步 Tsetlin 机架构

Tsetlin 机 (TM) 使用逻辑子句表示模式，近期在多个基准测试的准确性、内存占用、能耗和学习速度方面取得了有竞争力的性能。每个 TM 子句对特定类别投赞成或反对票，分类通过多数投票解决。虽然子句求值很快（基于二元算子），但投票使得有必要同步子句求值，阻碍了并行化。本文中，我们提出一种消除子句求值同步、消除投票瓶颈的新方案。简言之，每个子句在其自身线程中运行以实现大规模原生并行。对于每个训练样本，我们在局部投票计数中记录子句给出的类别投票。局部投票计数使我们能将每个子句的处理与其余子句脱钩，支持去中心化学习。这意味着 TM 大部分时间将在过时的投票计数上运行。我们在多种学习任务上评估了所提并行化，结果表明我们的去中心化 TM 学习算法能很好地应对过时数据，未造成学习准确性的显著损失。此外，我们展示了所提方法提供高达 50 倍更快的学习。最后，对于合理数量的子句（在 Tesla V100 GPU 上使用 20 至 7,000 个子句），学习时间近乎恒定。对于足够大的子句数，计算时间近似成比例增加。因此，我们的并行异步架构允许处理大规模数据集并使用更多子句以获得更高准确性。