关于 EEG 至文本解码器中激活函数作用的探讨
机器学习
2024-10-17 v1
摘要
近年来, 跨学科研究不断探索神经科学在信息检索领域的潜在应用。初始研究集中于 fMRI 数据, 但 fMRI 被认为不适用于实际应用, 随后研究转向使用 EEG 数据。本文致力于改进首次尝试生成文本的 EEG 方法, 聚焦于优化神经网络性能的较少探索领域。我们测试了不同的激活函数并进行性能比较。结果表明, 引入更高阶多项式激活函数可在不改变模型架构的情况下提升模型性能。我们还表明, 可学习的三次方激活函数在 1-gram 评估上优于不可学习的三次方函数。然而, 在 2-gram 及以上评估中, 多项式函数性能不足, 而漏 ReLU 激活函数超越了基线。
引用
@article{arxiv.2410.12572,
title = {On the Role of Activation Functions in EEG-To-Text Decoder},
author = {Zenon Lamprou and Iakovos Tenedios and Yashar Moshfeghi},
journal= {arXiv preprint arXiv:2410.12572},
year = {2024}
}