将意图检测问题解释为低维空间中的动力学

意图检测是文本分类任务，旨在识别和标记用户查询背后的语义。在各种商业应用中发挥着关键作用。意图检测模块的输出强烈影响整个系统的行为。这种序列分析任务主要采用深度学习技术来解决。尽管这些技术广泛使用，但网络解决问题的内部机制仍鲜有了解。最近的研究从动力学系统视角分析了 RNN 学习的计算机制。本文研究了不同 RNN 体系结构如何解决 SNIPS 意图检测问题。注入训练好的网络中的句子可解释为遍历隐藏状态空间的轨迹。该空间被限制在低维流形上，其维度与嵌入和隐藏层大小相关。为生成预测，RNN 将轨迹驾驭向与输出层矩阵行方向相空间对齐的具体区域。在系统动力学底层，已识别出具有有限引力点的拓扑结构。我们的结果为理解解决意图检测任务的网络内部运作提供了新见解。