通过期望最大化弥合神经过程的推理差距
机器学习
2025-01-08 v1 人工智能
神经与进化计算
摘要
神经过程 (NP) 是一族用于学习函数分布的计算高效模型。然而，它存在欠拟合问题，且在实际应用中表现出次优性能。研究人员主要致力于在建模中融入多样的结构归纳偏置，例如注意力或卷积。以往工作鲜少研究推理次优性问题以及从优化目标角度对 NP 进行分析。为解决此问题，我们在期望最大化框架内提出了一个关于元数据集目标对数似然的代理目标。所得模型称为自归一化重要性加权神经过程 (SI-NP)，能够学习更准确的函数先验，并具有关于目标对数似然的改进保证。实验结果表明，SI-NP 相比其他 NP 目标具有竞争力的性能，并表明结构归纳偏置（如注意力模块）也能增强我们的方法以实现 SOTA 性能。我们的代码可在 \url{https://github.com/hhq123gogogo/SI_NPs} 获取。
引用
@article{arxiv.2501.03264,
title = {Bridge the Inference Gaps of Neural Processes via Expectation Maximization},
author = {Qi Wang and Marco Federici and Herke van Hoof},
journal= {arXiv preprint arXiv:2501.03264},
year = {2025}
}
备注
ICLR2023