语法引导的神经模块蒸馏以探查句子嵌入的组合性
计算与语言
2023-02-09 v2
摘要
以往探查句子嵌入模型中组合性的工作在确定隐式句法表示的因果影响方面存在问题。给定句子，我们基于其句法分析构建神经模块网络并端到端训练以逼近 transformer 模型生成的句子嵌入。transformer 到句法神经模块网络（SynNaMoN）的可蒸馏性由此捕获句法是否为其组合能力的强因果模型。此外，我们通过指定各 SynNaMoN 模块的内部架构与线性来探讨语义组合的几何问题。我们发现不同句子嵌入模型的可蒸馏性差异与其性能广泛相关，但观察到可蒸馏性并不随模型规模显著变化。我们还提出初步证据：句子嵌入模型中大量语法引导的组合是线性的，且非线性可能主要用于处理非组合短语。
引用
@article{arxiv.2301.08998,
title = {Syntax-guided Neural Module Distillation to Probe Compositionality in Sentence Embeddings},
author = {Rohan Pandey},
journal= {arXiv preprint arXiv:2301.08998},
year = {2023}
}
备注
EACL 2023 (camera-ready)