用于表示学习的自编码条件神经过程
机器学习
2024-02-20 v2 人工智能
摘要
条件神经过程（CNPs）是一类灵活高效的模型，可从数据中学会学习随机过程。它们在上下文图像补全中有特殊应用——观测某些位置的像素值以预测其他未观测位置值的分布。然而，在学习 CNP 时像素的选择通常是随机的，或源于简单统计度量（如像素方差）。在此，我们反转问题并询问：CNP 希望观测哪些像素——它们是否有助于拟合更好的 CNP，且这些像素是否传达了关于底层图像的有意义信息？为此，我们开发了局部像素空间变分自编码器（PPS-VAE），一种将 CNP 上下文视为与 CNP 同时学习的潜变量的摊销变分框架。我们在多种视觉数据的若干任务上评估 PPS-VAE，发现它不仅能促成拟合更好的 CNP，而且其空间排布与数值能有意义地刻画图像信息——通过分布内与分布外数据的分类视角进行评估。我们的模型还允许动态适配上下文集大小，并具备扩展到更大图像的能力，为学习有意义且有效的视觉表示提供了可行途径。
引用
@article{arxiv.2305.18485,
title = {Autoencoding Conditional Neural Processes for Representation Learning},
author = {Victor Prokhorov and Ivan Titov and N. Siddharth},
journal= {arXiv preprint arXiv:2305.18485},
year = {2024}
}