基于星云变分编码的自监督潜空间优化
机器学习
2025-06-03 v1 信息论
math.IT
摘要
深度学习方法以逐层方式处理数据并产生中间（或潜）特征。我们旨在设计一种通用解决方案，以优化潜流形，从而通过概率模型提升分类、分割、补全和/或重建的性能。本文提出了一种变分推断模型，可产生聚类的嵌入。我们在潜空间中引入称为 \textbf{nebula anchors} 的附加变量，以在训练过程中引导潜变量形成簇。为防止锚点彼此之间发生聚类，我们采用变分约束，强制锚点内的潜特征形成高斯分布，从而得到我们称为星云变分编码（NVC）的生成模型。由于每个潜特征都可以用最近的锚点进行标记，我们还提出以自监督方式应用度量学习，以使簇之间的分离更加明确。因此，我们变分编码器的潜变量形成的簇能够适应训练数据生成的语义，例如每个样本的类别标签。我们通过实验证明，该方法可用于旨在解决包括文本序列、图像、3D 点云和体数据在内的不同问题的不同架构中，验证了所提方法的优势。
引用
@article{arxiv.2506.01414,
title = {Self-supervised Latent Space Optimization with Nebula Variational Coding},
author = {Yida Wang and David Joseph Tan and Nassir Navab and Federico Tombari},
journal= {arXiv preprint arXiv:2506.01414},
year = {2025}
}