神经机器翻译中对句子结构变化保持不变的神经元
计算与语言
2022-11-04 v3
摘要
我们提出一种方法论，探究句子结构如何反映在机器翻译系统的神经表示中。我们以 Transformer 英德翻译模型展示了该模型无关方法。我们分析 paraphrase（释义）间激活的神经元级相关性，同时讨论方法论挑战及进行混杂分析的必要性，以隔离浅层线索的影响。我们发现激活模式间的相似性主要可由用词相似性与句子长度解释。此后，我们操控神经元激活以控制输出的句法形式。我们表明该干预在一定程度上成功，指示深层模型捕捉了句子结构差异，尽管在神经元层面未发现有此迹象。为开展实验，我们开发了一种半自动方法以生成保义最小对释义（主动-被动语态与状语从句-名词短语）并编纂了此类配对语料库。
引用
@article{arxiv.2110.03067,
title = {On Neurons Invariant to Sentence Structural Changes in Neural Machine Translation},
author = {Gal Patel and Leshem Choshen and Omri Abend},
journal= {arXiv preprint arXiv:2110.03067},
year = {2022}
}