逐层最小对探测揭示语音表示中的上下文语法-概念层级
计算与语言
2025-09-22 v1 音频与语音处理
摘要
基于 Transformer 的语音语言模型 (SLMs) 显著提升了神经语音识别与理解。尽管现有研究已考察了 SLMs 编码浅层声学与语音特征的程度，但 SLMs 编码细微句法与概念特征的程度仍不清晰。通过与大语言模型的语言能力评估相类比，本研究首次系统评估了自监督学习 (S3M)、自动语音识别 (ASR)、语音压缩 (codec) 以及作为听觉大语言模型 编码器的 SLMs 中上下文句法与语义特征的存在。通过跨越不同语言层级的 71 项任务的最小对设计和诊断特征分析，我们的逐层和时间分辨分析发现：1) 所有语音模型编码语法特征均比编码概念特征更为稳健。
引用
@article{arxiv.2509.15655,
title = {Layer-wise Minimal Pair Probing Reveals Contextual Grammatical-Conceptual Hierarchy in Speech Representations},
author = {Linyang He and Qiaolin Wang and Xilin Jiang and Nima Mesgarani},
journal= {arXiv preprint arXiv:2509.15655},
year = {2025}
}
备注
EMNLP 2025 Main Conference (Oral)