解缠插式变分编码
机器学习
2025-01-17 v2 机器学习
摘要
多任务学习中的目标冲突是一个重大挑战， necessitating 仔细的设计和平衡，以确保在所有任务之间 Without mutual negative impact 的有效学习代表性潜在数据空间。drawing inspiration from 概率论中边缘和条件概率分布的概念，我们设计了一种以概率论为基础、以原输入在变分自编码器潜在空间中的边缘和条件概率分布为基础的原则方法。我们提出的模型 Deep Disentangled Interleaving Variational Encoding（DeepDIVE）从原始输入中学习解缠特征，以在嵌入空间中形成聚类，并通过在融合阶段利用交叉注意力机制统一这些特征。我们理论上证明，结合重建和预测目标完全捕获下界，并使用贝叶斯方法数学推导解缠损失函数。在假设先验为 log-concave 分布混合物的前提下，我们还证明了先验与后验之间的 KL 散度上界由交叉熵损失的最小化者所决定，这告诉我们在 DeepDIVE 中采用径向基函数（RBF）和交叉熵进行交错训练是合理的。两个公开数据集上的实验表明，DeepDIVE 能解缠原始输入并实现比原始 VAE 更好的预测准确率，与现有 SOTA 方法相当。
引用
@article{arxiv.2501.08710,
title = {Disentangled Interleaving Variational Encoding},
author = {Noelle Y. L. Wong and Eng Yeow Cheu and Zhonglin Chiam and Dipti Srinivasan},
journal= {arXiv preprint arXiv:2501.08710},
year = {2025}
}