探索注意力机制的不同维度以进行不确定性检测

带有注意力机制的神经网络已被证明对许多自然语言处理任务有效。在本文中，我们开发了用于不确定性检测的注意力机制。特别地，我们通过引入外部注意力和序列保持注意力，推广了标准使用的注意力机制。这些新颖的架构与标准方法的不同之处在于，它们使用外部资源来计算注意力权重并保留序列信息。我们沿着注意力的不同维度将它们与其他配置进行了比较。我们的新颖架构在维基百科基准数据集上设定了新的最优水平，并在一个使用了大量语言特征的生物医学基准上取得了与最优模型相似的性能。