李访问神经图灵机

遵循显式神经记忆结构的最新趋势，我们提出了一种外部记忆的新设计，其中记忆存储在欧氏密钥空间 $\mathbb R^n$ 中。LSTM 控制器通过专门的读头和写头执行读写。它可以通过在密钥空间中提供新地址（即随机访问）或通过李群作用从其先前位置移动（即李访问）来移动头。以此方式，传统图灵机的“L”和“R”指令被推广到固定李群作用的任意元素。因此，我们将此新模型命名为李访问神经图灵机（Lie Access Neural Turing Machine），简称 LANTM。我们在几个基础实验中测试了 LANTM 的两种不同配置与 LSTM 基线。我们发现正确配置的 LANTM 在所有实验中均优于基线。特别地，我们在 $k$ 位数字加法上训练 LANTM，其中 $2 \le k \le 16$，但它能够几乎完美地泛化到 $17 \le k \le 32$，且参数数量比 LSTM 基线低两个数量级。