SAG-VAE：数据表征与特征关系的端到端联合推断
机器学习
2020-07-23 v3 机器学习
摘要
变分自编码器（VAEs）在数据结构推断方面能力强大，但其原始形式及常见变体无法学习特征之间的关系。捕捉数据内部关系的能力可提供构建更鲁棒且结果更具可解释性的机器学习算法所必需的归纳偏置。本文受近期利用图神经网络进行关系学习的进展启发，提出了自注意力图变分自编码器（SAG-VAE）网络，该网络能够以端到端方式同时学习特征关系与数据表征。SAG-VAE通过联合推断两类潜变量的后验分布进行训练，这两类潜变量分别表征数据表征与共享图结构。此外，我们引入了一种新颖的自注意力图网络，通过对生成分布进行参数化来提升SAG-VAE的生成能力，使SAG-VAE能够通过图卷积生成新数据，同时仍可通过反向传播训练。可学习的关系图表征增强了SAG-VAE对扰动与噪声的鲁棒性，同时也为模型性能提供了更深层的直观理解。基于图的实验表明，SAG-VAE能够完全基于特征观测近似恢复节点间的边与链接。最后，在图像数据上的结果显示SAG-VAE在图像重建与采样中对扰动具有相当好的鲁棒性。
引用
@article{arxiv.1911.11984,
title = {SAG-VAE: End-to-end Joint Inference of Data Representations and Feature Relations},
author = {Chen Wang and Chengyuan Deng and Vladimir Ivanov},
journal= {arXiv preprint arXiv:1911.11984},
year = {2020}
}