微调与提示微调的监督表征：何者更能解释大脑语言表征？
人工智能
2023-10-04 v1 计算与语言
摘要
为破译人脑语言表征背后的算法，已有工作使用在NLU任务上微调的预训练人工神经网络（ANN）模型探测大脑对语言输入的响应。然而，全微调通常更新整个参数空间并扭曲预训练特征，在认知上与大脑稳健的多任务学习能力不一致。相比之下，提示微调保护预训练权重并学习任务特定的嵌入以适配任务。提示微调能否生成比微调更能解释大脑语言表征的表征？若是，何种NLU任务使预训练模型更好地解码人脑所表征的信息？我们通过比较提示微调与微调表征在神经解码（即从刺激引发的大脑活动中预测语言刺激）中的表现来研究这些问题。我们发现，在10个NLU任务中，无一任务上全微调在神经解码中显著优于提示微调，这意味着更具大脑一致性的调优方法产生的表征与大脑数据相关性更好。此外，我们识别出处理细粒度概念含义的任务所产生的表征比其他任务（尤其是句法分块任务）更好地解码大脑激活模式。这表明，在表征语言时，我们的大脑编码比浅层句法信息更多的细粒度概念信息。
引用
@article{arxiv.2310.01854,
title = {Fine-tuned vs. Prompt-tuned Supervised Representations: Which Better Account for Brain Language Representations?},
author = {Jingyuan Sun and Marie-Francine Moens},
journal= {arXiv preprint arXiv:2310.01854},
year = {2023}
}
备注
IJCAI 2023