将随机效应集成到变分自编码器用于相关数据的降维
机器学习
2024-12-25 v2 机器学习
摘要
变分自编码器 (VAE) 广泛用于大规模表格和图像数据集的降维处理，假设数据观察之间相互独立。然而，实际情况下，数据集常常存在相关性，其典型相关来源包括空间、时间和聚类结构。灵感来自线性混合模型 (LMM) 的文献，我们提出了 LMMVAE -- 一种新型模型，将经典 VAE 潜在模型分为固定部分和随机部分。固定部分假设潜在变量之间相互独立，与往常一样；而随机部分则由在数据中类似聚类（如相邻位置或连续测量）之间的潜在变量组成。对经典 VAE 架构和损失函数进行相应修改。LMMVAE 在实际数据集上显著改进了平方重构误差和负似然损失，包括各种应用和相关情景的模拟数据和真实数据集。它还在学习表征上的下游任务（如监督分类）方面表现出改进。
引用
@article{arxiv.2412.16899,
title = {Integrating Random Effects in Variational Autoencoders for Dimensionality Reduction of Correlated Data},
author = {Giora Simchoni and Saharon Rosset},
journal= {arXiv preprint arXiv:2412.16899},
year = {2024}
}
备注
30 pages, 5 figures