上下文词表示模型的相似性分析

本文从相似性分析的视角研究上下文词表示模型。给定一组训练好的模型，我们度量其内部表示与注意力的相似性。关键在于，这些模型来自差异极大的架构。我们使用已有及新颖的相似性度量方法，旨在评估深度模型中信息定位的程度，并在无需任何外部语言标注的情况下，便于研究哪些设计因素会影响模型相似性。分析表明，同一家族内的模型彼此更为相似，这或许在预料之中。令人惊讶的是，不同架构具有相当相似的表示，但拥有不同的单个神经元。我们还观察到低层与高层中信息定位的差异，并发现高层受下游任务微调的影响更大。