有意探索键-值-查询模型空间

基于注意力的模型一直是深度学习近期许多突破的关键元素。注意力的两个关键组成部分是其输入的结构（由键、值和查询组成）以及将这三者结合起来的计算。在本文中，我们探索了共享上述输入结构但不局限于注意力计算的模型空间。我们将此空间称为键-值-查询(KVQ)空间。我们的目标是确定在KVQ空间中是否存在注意力无法高效近似的其他可堆叠模型，这些模型可以使用我们当前的深度学习工具箱实现，并能解决社区感兴趣的问题。也许令人惊讶的是，标准最小二乘问题的解满足这些性质。一个能够计算该解的神经网络模块不仅丰富了神经网络可表示的计算集合，而且可证明是线性注意力的严格推广。更令人惊讶的是，该模块的计算复杂度与注意力完全相同，使其成为合适的直接替代品。在建立了经典机器学习（最小二乘法）与现代深度学习（注意力）之间的这种新颖联系后，我们证明了一种以相同方式推广常规注意力的模型变体的合理性。两个新模块在从少样本学习到策略蒸馏的广泛任务中进行了测试，证实了它们的现实适用性。