脑到文本解码中你能提取多少字节？
计算与语言
2024-05-24 v1 人工智能
新兴技术
摘要
脑机接口在辅助言语和脑科学研究方面具有重要的医学和科学应用前景。在这项工作中，我们提出了一种基于信息的评估指标用于脑到文本解码器。利用该指标，我们研究了两种增强现有最先进连续文本解码器的方法。我们证明，与基线模型相比，这些方法协同作用可将脑解码性能提升高达40%以上。我们进一步研究了脑到文本解码器的信息特性，并实验表明它们具有Zipf幂律动力学。最后，我们给出了基于fMRI的文本解码器的理想化性能估计。我们将该理想化模型与当前模型进行比较，并利用基于信息的指标量化了解码误差的主要来源。我们得出结论，在进一步算法改进的前提下，实用的脑到文本解码器是可能实现的。
引用
@article{arxiv.2405.14055,
title = {How Many Bytes Can You Take Out Of Brain-To-Text Decoding?},
author = {Richard Antonello and Nihita Sarma and Jerry Tang and Jiaru Song and Alexander Huth},
journal= {arXiv preprint arXiv:2405.14055},
year = {2024}
}