关联语言的神经与符号表示
计算与语言
2023-06-02 v2 机器学习
摘要
随着深度学习成为NLP的主导方法,我们愈发需要能够更好理解语言神经模型的表示与运作的分析方法。在此,我们提出两种基于表示相似性分析(Representational Similarity Analysis, RSA)和树核(Tree Kernels, TK)的方法,它们使我们能够直接量化神经激活模式中编码的信息与句法树等符号结构所表示的信息之间的对应强度。我们首先在一个具有明确定义句法与语义的算术表达式简单合成语言上验证我们的方法,并展示其呈现出预期的结果模式。随后,我们将方法应用于关联英语句子的神经表示与其成分解析树。
引用
@article{arxiv.1905.06401,
title = {Correlating neural and symbolic representations of language},
author = {Grzegorz Chrupała and Afra Alishahi},
journal= {arXiv preprint arXiv:1905.06401},
year = {2023}
}
备注
ACL 2019