Transformer 借助局部注意力与网格化问题表征发现一种基础计算系统
机器学习
2022-07-07 v1 人工智能
摘要
数学推理是人类智力最令人瞩目的成就之一，但对人工智能系统而言仍是一项艰巨挑战。本工作中，我们探究现代深度学习架构能否通过发现有效的算术过程来学习解决符号加法任务。尽管该问题初看似乎微不足道，但将算术知识泛化到涉及更多项数、且可能由更长数字序列构成的运算上，已被证明对神经网络极为困难。本文表明，配备局部注意力与自适应停止机制的通用 Transformer（universal transformers）能够学会利用外部的网格化记忆来执行多位数加法。所提模型即使在测试需要训练分布外推的问题时也取得了令人瞩目的准确率；最值得注意的是，它做到了这一点，且发现了类人的计算策略，例如数位对齐。
引用
@article{arxiv.2207.02536,
title = {Transformers discover an elementary calculation system exploiting local attention and grid-like problem representation},
author = {Samuel Cognolato and Alberto Testolin},
journal= {arXiv preprint arXiv:2207.02536},
year = {2022}
}