脑-语音模型跨语音模式的机械可解释性
机器学习
2026-02-03 v1 人工智能
摘要
脑-语音解码模型在 vocalized、mimed 和 imagined 语音模式下表现出稳健的性能; 然而, 这些模型如何捕获并传递跨不同语音模式信息的基本机制尚不明了。本文采用机械可解释性方法对神经语音解码器的内部表征进行因果性调查。我们对不同语音模式之间的内部激活进行cross-mode激活修补, 使用tri-modal插值检验语音表征是否离散或连续分布。通过粗到细的因果追踪和因果scubbing发现局部因果结构, 以便找到足以支撑cross-mode迁移的内部子空间。为确定这些效应在层内的离散程度, 我们进行单元级激活修补。我们发现, 虽然并非离散化, 小规模的神经元子集会影响cross-mode迁移。我们的结果表明, 语音模式位于共享的连续因果流形上, cross-mode迁移由紧凑且层特定的子空间而非扩散活动所主导。总体而言, 本研究为脑-语音解码模型中语音模式信息的组织与使用提供了因果解释, 揭示了跨语音模式中层次化和方向依赖的表征结构。
引用
@article{arxiv.2602.01247,
title = {Mechanistic Interpretability of Brain-to-Speech Models Across Speech Modes},
author = {Maryam Maghsoudi and Ayushi Mishra},
journal= {arXiv preprint arXiv:2602.01247},
year = {2026}
}