BERT中的瞬态混沌

语言是我们复杂且动态的人类互动的产物，因此自然语言处理(NLP)技术建立在人类语言活动之上。Bidirectional Encoder Representations from Transformers (BERT)近来因在多个NLP基准上确立最先进(state-of-the-art)分数而广受欢迎。A Lite BERT (ALBERT)被字面描述为一种轻量级BERT，其中通过重复应用称为Transformer编码器层的同一神经网络减少了BERT参数数量。通过使用大量自然语言数据预训练参数，ALBERT可将输入句子转换为潜在能够解决多种NLP任务的多功能高维向量。从这个意义上说，ALBERT可被视为一个设计良好的高维动力系统，其算子是Transformer的编码器，因此人类语言的本质结构有望封装于其动力学中。在本研究中，我们调查了ALBERT的嵌入属性，以揭示如何通过利用其动力学有效解决NLP任务。我们从而旨在从NLP模型的动力学表达中探索人类语言的本质。我们的短期分析阐明，预训练模型稳定地产生具有更高维度的轨迹，这将增强NLP任务所需的表达能力。此外，我们的长期分析揭示ALBERT本质上表现出瞬态混沌，一种仅在瞬态中展现混沌动力学的典型非线性现象，且相较于随机初始化的模型，预训练ALBERT模型倾向于在显著更长的时间段内产生混沌轨迹。我们的结果暗示局部混沌性有助于提升NLP性能，揭示了混沌动力学在人类语言行为中作用的新方面。