逻辑与 $2$-单纯形 Transformer
机器学习
2019-09-15 v1 计算机科学中的逻辑
机器学习
摘要
我们引入 -单纯形 Transformer（-simplicial Transformer），它是 Transformer 的一种扩展，包含一种推广点积注意力（dot-product attention）的高维注意力形式，并利用该注意力通过值向量的张量积来更新实体表示。我们表明，在深度强化学习（deep reinforcement learning）背景下，该架构是逻辑推理的一种有用归纳偏置（inductive bias）。
关键词
引用
@article{arxiv.1909.00668,
title = {Logic and the $2$-Simplicial Transformer},
author = {James Clift and Dmitry Doryn and Daniel Murfet and James Wallbridge},
journal= {arXiv preprint arXiv:1909.00668},
year = {2019}
}