无对抗训练的限制玻尔兹曼机表示解纠缠
机器学习
2023-04-06 v4 无序系统与神经网络
摘要
无监督机器学习的一个目标是构建复杂高维数据的表示，其与数据属性具有简单关系。这种解纠缠表示使数据显著潜在变异因素的 interpret 更容易，也便于生成具有期望特征的新数据。解纠缠表示的方法常依赖对抗方案，其中调整表示以阻止判别器重建关于数据属性（标签）的信息。不幸的是，对抗训练在实践中通常难以实现。在此我们提出一种简单、有效的解纠缠表示方法，无需训练对抗判别器，并将该方法应用于限制玻尔兹曼机 (RBM)——最简单的基于表示的生成模型之一。我们的方法依赖于在训练期间对权重引入适当约束，从而将标签信息集中到一小部分潜在变量上。该方法的效力通过四个例子说明：人脸图像 CelebA 数据集、二维伊辛模型、手写数字 MNIST 数据集以及蛋白质家族分类学。此外，我们展示了我们的框架如何解析计算与其表示解纠缠相关的、以数据对数似然为度量的代价。
引用
@article{arxiv.2206.11600,
title = {Disentangling representations in Restricted Boltzmann Machines without adversaries},
author = {Jorge Fernandez-de-Cossio-Diaz and Simona Cocco and Remi Monasson},
journal= {arXiv preprint arXiv:2206.11600},
year = {2023}
}
备注
Minor corrections. Accepted for publication in Physical Review X