中文

分析分析方法:口语神经模型中的音系学案例

计算与语言 2023-06-02 v2 机器学习 声音 音频与语音处理

摘要

鉴于NLP与语音处理系统分析技术的快速发展,鲜有系统性研究比较各种方法的优劣。作为该方向的一步,我们研究了口语神经网络模型中音系学的表征。我们使用两种常用的分析技术——诊断分类器与表征相似性分析,来量化神经激活模式在多大程度上编码音素与音素序列。我们操控两个可能影响分析结果的因子。首先,我们通过比较从训练好的模型与随机初始化模型中提取的神经激活,考察学习的作用。其次,我们通过探测对应于语音信号几毫秒的局部激活,以及在整个话语上池化的全局激活,来检验激活的时间范围。我们得出结论:报告基于随机初始化模型的分析结果至关重要,且全局范围方法往往产生更一致的结果,我们建议将其作为局部范围诊断方法的补充。

关键词

引用

@article{arxiv.2004.07070,
  title  = {Analyzing analytical methods: The case of phonology in neural models of spoken language},
  author = {Grzegorz Chrupała and Bertrand Higy and Afra Alishahi},
  journal= {arXiv preprint arXiv:2004.07070},
  year   = {2023}
}

备注

ACL 2020