fMRI 中语言编码模型的缩放定律
计算与语言
2024-01-31 v4 人工智能
摘要
基于 Transformer 的单向语言模型的表征已知能有效预测大脑对自然语言的响应。然而，多数将语言模型与大脑比较的研究使用了 GPT-2 或类似规模的语言模型。在此，我们测试了更大的开源模型（如 OPT 与 LLaMA 系列）是否能更好地预测 fMRI 记录的大脑响应。呼应其他场景中的缩放结果，我们发现大脑预测性能随模型规模从 1.25 亿到 300 亿参数呈对数增长，在 3 名被试的留出测试集上相关性衡量显示编码性能提升约 15%。缩放 fMRI 训练集规模时观察到类似的对数行为。我们还刻画了使用 HuBERT、WavLM 与 Whisper 的声学编码模型的缩放规律，并发现随模型规模有可比的改进。对这些大型高性能编码模型的噪声上限分析表明，性能正接近楔前叶与高级听觉皮层等脑区的理论最大值。这些结果表明，扩大模型与数据规模将产生极其有效的脑内语言处理模型，促成更好的科学理解以及诸如解码等应用。
引用
@article{arxiv.2305.11863,
title = {Scaling laws for language encoding models in fMRI},
author = {Richard Antonello and Aditya Vaidya and Alexander G. Huth},
journal= {arXiv preprint arXiv:2305.11863},
year = {2024}
}
备注
Accepted to the Thirty-seventh Annual Conference on Neural Information Processing Systems (NeurIPS 2023). Please cite NeurIPS version