在人工神经网络中测试注意力图式理论的组件

越来越多的证据表明，大脑使用注意力图式——即注意力的简化模型——来帮助控制其关注对象。该模型的一个提出优势是允许智能体建模其他智能体的注意力状态，从而预测和与其他智能体交互。注意力图式的影响可以在人工智能体中进行检验。尽管人工智能体中的注意力机制与生物大脑不同，但可能存在一些共同原则。在两种情况下，都会强调选择性的特征或表征以获得更好的性能。在这里，使用具有 Transformer 注意力机制的神经网络，我们研究了添加注意力图式是否会影响智能体对彼此注意力状态进行判断和合作的能力。首先，我们发现具有注意力图式的智能体在分类其他智能体的注意力状态方面更准确（更高的准确率）。其次，具有注意力图式的智能体发展出更容易被其他智能体分类的注意力模式。第三，在一个需要两个智能体互相预测以共同绘制场景的联合任务中，添加注意力图式改善了性能。最后，性能提升并非由网络复杂度的普遍增加引起。相反，改进特定于涉及判断、分类或预测其他智能体注意力的任务。这些结果支持了注意力图式具有有利于相互可解释性和交互行为的计算特性的假设。我们推测相同的原理可能适用于生物注意力和人类注意力图式。