大脑数据对机器学习有多大价值？

如果一个人可以解决一个任务，测量他的大脑是否可以更容易地训练模型来解决该任务？最近的NeuroAI工作表明，补充神经记录数据可在模型性能和鲁棒性方面获得适度的改进。然而，尚不清楚在何时应该从使用神经数据中获益，以及应期望多少益处。我们从数学上形式化提出此问题，并开始使用一个简单、可解析的线性高斯模型来理论分析任务目标和神经记录。对于在大脑数据和任务标签上都进行训练的多模态估计器，我们推导出性能随大脑样本数和任务样本数的扩展定律。从这些定律我们推导出大脑样本和任务样本之间的相对价值和交换率，量化了大脑数据相对于额外任务样本的价值，这取决于任务-大脑对齐度、神经噪声和任务噪声、潜在维度以及大脑数据样本数。我们还分析了测试分布迁移，识别出通过学习不变性获得显著鲁棒性增益的条件。最后，在固定收集预算下，我们 characterize了大脑数据值得收集的 regime。我们的结果为理解大脑数据如何有助于改进机器学习提供了基础。