中文

当预测也能解释:基于少样本预测选择更优神经潜变量

机器学习 2025-08-26 v4 机器学习

摘要

潜变量模型是从观测神经活动中推断潜在动力学的强大工具。理想情况下,推断的动力学应与真实动力学一致。然而,由于缺乏真实数据,预测基准常被用作代理。一种广泛使用的方法是co-smoothing\textit{co-smoothing},通过联合估计潜变量并对保留的通道进行观察预测来评估模型性能。在本研究中,我们揭示了co-smoothing\textit{co-smoothing}预测框架的局限性,并提出了补救方案。使用学生-教师设置,我们展示,具有高co-smoothing\textit{co-smoothing}的模型在其潜变量表示中可能包含任意多余动力学。为解决此问题,我们引入了次要指标——few-shot co-smoothing\textit{few-shot co-smoothing},通过对潜变量对保留神经元进行回归预测来评估模型性能,使用更少的试验次数。我们的结果表明,在具有接近最优co-smoothing\textit{co-smoothing}的模型中,那些包含多余动力学的模型在few-shot co-smoothing\textit{few-shot co-smoothing}方面表现不如那些无此类动力学的“最小化”模型。我们提供了关于这一现象起源的解析性见解,并在四个标准神经数据集上使用最新方法STNDT进行进一步验证。缺乏真实数据时,我们提出一种新方法来验证我们的方案。通过对所有具有高co-smoothing\textit{co-smoothing}的模型对之间的潜变量进行交叉解码,我们识别出具有最小化多余动力学的模型。我们发现,few-shot co-smoothing\textit{few-shot co-smoothing}性能与这一新指标之间存在相关性。总之,我们提出了一种新型预测指标,旨在生成更准确反映真实动力学的潜变量,为潜在动力学推断提供了显著的改进。

关键词

引用

@article{arxiv.2405.14425,
  title  = {When predict can also explain: few-shot prediction to select better neural latents},
  author = {Kabir Dabholkar and Omri Barak},
  journal= {arXiv preprint arXiv:2405.14425},
  year   = {2025}
}