RENs：相关性编码网络
机器学习
2022-07-19 v2
摘要
高维数据的流形假设认为，数据是通过改变从低维潜空间获得的一组参数生成的。深度生成模型(DGMs)被广泛用于以无监督方式学习数据表示。DGMs使用如变分自编码器(VAEs)等瓶颈架构来参数化数据空间中的底层低维流形。VAEs的瓶颈维度被视为依赖于数据集的超参数，并在经过大量调优后于设计时被固定。由于大多数真实世界数据集的内在维度未知，内在维度与作为超参数选择的潜维度之间常存在错配。此错配会对表示学习与样本生成任务的模型性能产生负面影响。本文提出相关性编码网络(RENs)：一种新颖的基于概率VAE的框架，其在潜空间中使用自动相关性确定(ARD)先验来学习数据特定的瓶颈维度。各潜维度的相关性连同其他模型参数一起，使用随机梯度下降及适用于非高斯先验的重参数化技巧直接从数据中学得。我们利用DeepSets的概念在数据与潜空间中捕获置换不变统计特性以进行相关性确定。所提框架通用且灵活，可用于利用正则化器在潜空间施加特定特性(例如解耦)的先进VAE模型。通过在合成与公共图像数据集上的大量实验，我们表明所提模型在不损害样本表示与生成质量的前提下学得了相关的潜瓶颈维度。
引用
@article{arxiv.2205.13061,
title = {RENs: Relevance Encoding Networks},
author = {Krithika Iyer and Riddhish Bhalodia and Shireen Elhabian},
journal= {arXiv preprint arXiv:2205.13061},
year = {2022}
}