句子嵌入整体中是否存在可识别的结构性组成部分？

变换模型的句子嵌入以固定长度向量编码了大量语言信息。我们探讨这些嵌入是否由可分离的重叠信息层构成，以及特定类型信息（如关于块及其结构和语义属性的信息）是否可被检测到。我们通过包含已知块结构的句子数据集，以及两组语言智能数据集来验证这一点，这些数据集的解决依赖于检测块及其语法数目以及它们的语义角色。我们通过对任务性能和学习期间内部表示进行分析来支持这一假设。