在注意力机制中融入晶格对称性先验以实现样本高效抽象几何推理
人工智能
2023-06-07 v1 机器学习
机器学习
摘要
抽象与推理语料库（ARC）（Chollet, 2019）及其最新语言完备实例 LARC 被认为迈向通用 AI 的重要一步。然而，即便最先进的机器学习模型也难在这些问题上取得有意义表现，落后于非学习类方法。我们认为解决此类任务需要仅靠恰当纳入核心知识先验方能实现的极致泛化。作为迈向该目标的一步，我们聚焦几何先验并引入 LatFormer——一种在注意力掩码中融入晶格对称性先验的模型。我们证明，对超立方晶格的任意变换，均存在实现该群作用的二值注意力掩码。因此，本研究倡导对标准注意力机制进行修改：使用卷积网络生成的软掩码缩放注意力权重。在合成几何推理上的实验表明，LatFormer 所需数据比标准注意力与 transformer 少两个数量级。此外，我们在含几何先验的 ARC 与 LARC 任务上的结果提供了初步证据：这些复杂数据集并非深度学习模型力所不及。
引用
@article{arxiv.2306.03175,
title = {Infusing Lattice Symmetry Priors in Attention Mechanisms for Sample-Efficient Abstract Geometric Reasoning},
author = {Mattia Atzeni and Mrinmaya Sachan and Andreas Loukas},
journal= {arXiv preprint arXiv:2306.03175},
year = {2023}
}
备注
Accepted for publication at the International Conference on Machine Learning, ICML 2023