带 oracle 约束的贝叶斯表示学习
机器学习
2016-03-03 v4 计算机视觉与模式识别
机器学习
摘要
表示学习系统通常依赖大量标注数据才能训练至高精度。近来，诸如神经网络等高维参数模型已成功使用压缩、重建或监督准则构建丰富表示。然而，观测中固有的语义结构常在此过程中丢失。人类感知擅长理解语义，但未必总能用标签表达。因此，常采用 oracle（或人机回环系统，例如众包）利用编码于人类感知中的隐式相似性函数生成相似性约束。本工作中，我们提出将生成式无监督特征学习与对诸如三元组等 oracle 信息的概率处理相结合，以将隐式的特权 oracle 知识迁移到观测的显式非线性贝叶斯潜在因子模型中。我们使用快速变分算法学习联合模型，并展示其对一个知名图像数据集的适用性。我们展示了隐式三元组信息如何提供丰富信息来学习表示，在多种预测任务中优于先前的度量学习方法以及无此侧信息的生成模型。此外，我们阐明所提方法在语义上划分潜在空间，从而允许对潜在变量进行解释。
引用
@article{arxiv.1506.05011,
title = {Bayesian representation learning with oracle constraints},
author = {Theofanis Karaletsos and Serge Belongie and Gunnar Rätsch},
journal= {arXiv preprint arXiv:1506.05011},
year = {2016}
}
备注
16 pages, publishes in ICLR 16