自监督语音表示与上下文文本嵌入用于基于 EEG 记录的匹配-不匹配分类
信号处理
2024-02-02 v2 声音
音频与语音处理
摘要
将语音与脑电图（EEG）关联起来具有重要意义，但也充满挑战。在本研究中，采用深度卷积网络从 EEG 数据中提取时空特征。使用自监督语音表示和上下文文本嵌入作为语音特征。采用对比学习将 EEG 特征与语音特征相关联。实验结果证明了使用自监督语音表示和上下文文本嵌入的优势。通过特征融合和模型集成，达到了 60.29% 的准确率，该性能在听觉 EEG 挑战赛（ICASSP 2024）的任务 1 中排名第二。实现我们工作的代码可在 Github 上获取：https://github.com/bobwangPKU/EEG-Stimulus-Match-Mismatch。
引用
@article{arxiv.2401.04964,
title = {Self-supervised speech representation and contextual text embedding for match-mismatch classification with EEG recording},
author = {Bo Wang and Xiran Xu and Zechen Zhang and Haolin Zhu and YuJie Yan and Xihong Wu and Jing Chen},
journal= {arXiv preprint arXiv:2401.04964},
year = {2024}
}
备注
2 pages, 2 figures, accepted by ICASSP 2024