中文

面向异构颅内记录的齐次词汇音调解码

计算与语言 2025-02-19 v2 人工智能 机器学习 声音 音频与语音处理 神经元与认知

摘要

脑机接口 (BCI) 的近期进展使从颅内记录中解码词汇音调成为可能,为言语受阻的音调语言说话者恢复沟通能力提供了潜力。然而,由生理因素和仪器因素引起的数据异构性,构成了统一侵入性音调解码的重大挑战。传统的主题特定模型基于异构解码范式,无法捕获普遍的神经表征,也无法有效利用跨主题的数据。为此,我们提出一种新型框架——Homogeneity-Heterogeneity Disentangled Learning for neural Representations (H2DiLR),用于从多个主题的颅内记录中解离并学习异构性与同质性。为评估 H2DiLR,我们收集了来自多个受试者的立体电脑脑电图 (sEEG) 数据,来自阅读中文材料的受试者,包含 407 个音节,几乎覆盖了中文所有常用字符。广泛实验表明,H2DiLR 作为统一解码范式,显著优于传统的异构解码方法。进一步实证表明,H2DiLR 在神经表征学习过程中有效捕获了异构性与同质性。

关键词

引用

@article{arxiv.2410.12866,
  title  = {Towards Homogeneous Lexical Tone Decoding from Heterogeneous Intracranial Recordings},
  author = {Di Wu and Siyuan Li and Chen Feng and Lu Cao and Yue Zhang and Jie Yang and Mohamad Sawan},
  journal= {arXiv preprint arXiv:2410.12866},
  year   = {2025}
}

备注

ICLR2025 Poster (Preprint V2)