Linear stimulus reconstruction works on the KU Leuven audiovisual, gaze-controlled auditory attention decoding dataset
信号处理
2024-12-03 v1 声音
音频与语音处理
摘要
在最近的一篇论文中，我们介绍了 KU Leuven audiovisual, gaze-controlled auditory attention decoding (AV-GC-AAD) 数据集，其中记录了受试者在各种听觉视听条件下注意于两个竞争性说话人中一个的电生理信号 (EEG)。该数据集的主要目标是消除注视方向与听觉注意力方向之间的关系，以揭示现有基于空间的听觉注意力解码算法中与注视方向相关的捷径，这些算法旨在直接从 EEG 中解码（方向）听觉注意力。各种基于空间的听觉注意力方法在我们的 AV-GC-AAD 数据集上未实现显著的超出随机性能，表明先前报告的结果主要是由现有数据集中的眼动捕获所驱动。尽管如此，这些不利结果常常被忽视，原因归因于 AV-GC-AAD 数据集的局限性，例如数据量有限以训练有效模型、由于不同听觉视听条件导致的数据异构性过大，或受试者在复杂指令下无法集中注意力。本文呈现了线性刺激重建听觉注意力解码算法的结果，表明可以在每个单一条件内获得高水平的听觉注意力准确率，并且该模型在跨条件、跨新受试者乃至跨数据集方面都能良好地推广。因此，我们消除了 AV-GC-AAD 数据集不充分是（基于空间的）听觉注意力算法未能在其他数据集上实现超出随机性能的主要原因的任何疑虑。此外，本报告提供了一个简单的基准评估程序（包括源代码），可作为所有未来在该数据集上评估的听觉注意力算法的最小基准。
关键词
引用
@article{arxiv.2412.01401,
title = {Linear stimulus reconstruction works on the KU Leuven audiovisual, gaze-controlled auditory attention decoding dataset},
author = {Simon Geirnaert and Iustina Rotaru and Tom Francart and Alexander Bertrand},
journal= {arXiv preprint arXiv:2412.01401},
year = {2024}
}