神经变分 Dropout 流程
机器学习
2025-10-23 v1 人工智能
摘要
学习推断条件后验模型是实现稳健元学习的关键步骤。本文提出了一种新的贝叶斯元学习方法，称为神经变分 Dropout 流程（NVDPs）。NVDPs 基于特定于任务的 Dropout 建模条件后验分布；利用 Bernoulli 专家元模型的低秩乘积，用于从少量观察上下文中高效映射 Dropout 比率。这使得为新任务在多任务少样本学习中快速重新配置全球学习并共享的神经网络成为可能。此外，NVDPs 利用一种基于整个任务数据的新型先验，以优化条件 Dropout 后验的变分推断。意外的是，这使我们能够稳健地逼近任务特定的 Dropout 比率，以处理广泛的功能歧义和不确定性。我们在诸如 1D 随机回归、图像填充和分类等少样本学习任务上与其他元学习方法进行了比较。结果表明，NVDPs 表现出色。
引用
@article{arxiv.2510.19425,
title = {Neural Variational Dropout Processes},
author = {Insu Jeon and Youngjin Park and Gunhee Kim},
journal= {arXiv preprint arXiv:2510.19425},
year = {2025}
}
备注
Accepted as a Poster at International Conference on Learning Representations (ICLR) 2022 (Apr 25-29, 2022)