少样本自回归密度估计：迈向学会学习分布
神经与进化计算
2018-03-01 v4 计算机视觉与模式识别
摘要
深度自回归模型在大规模数据集（如 ImageNet）上自然图像密度估计中表现出最先进的性能。然而，此类模型需要数千次基于梯度的权重更新和独特的图像样本进行训练。理想情况下，模型应能仅从少数样本中快速学习视觉概念，类似于人类在多种视觉任务中的学习方式。本文展示了如何将 1）神经注意力与 2）元学习技术与自回归模型结合使用，以实现有效的少样本密度估计。我们对 PixelCNN 提出的改进在 Omniglot 数据集上实现了最先进的少样本密度估计。此外，我们可视化了学习到的注意力策略，发现其在无监督情况下为简单任务（如 ImageNet 上的图像镜像和 Omniglot 上的手写）学习了直观算法。最后，我们将模型扩展到自然图像，并展示了在 Stanford Online Products 数据集上的少样本图像生成。
引用
@article{arxiv.1710.10304,
title = {Few-shot Autoregressive Density Estimation: Towards Learning to Learn Distributions},
author = {Scott Reed and Yutian Chen and Thomas Paine and Aäron van den Oord and S. M. Ali Eslami and Danilo Rezende and Oriol Vinyals and Nando de Freitas},
journal= {arXiv preprint arXiv:1710.10304},
year = {2018}
}