$\alpha$-TCVAE：解耦与多样性之间的关系
机器学习
2024-11-04 v1 人工智能
摘要
虽然解耦表示在生成建模和表示学习中展现出前景，但其下游用途仍存在争议。近期研究通过与对称性的形式联系重新定义了解耦，强调降低潜变量域并因此增强生成能力。然而，从信息论的角度来看，将复杂属性分配给特定潜变量可能是不可行的，这限制了解耦表示在简单数据集上的适用性。在本工作中，我们引入 -TCVAE，一种通过新的总相关性（TC）下界优化的变分自编码器，该下界最大化了解耦和潜变量的信息性。所提出的 TC 下界基于信息论构造，推广了 -VAE 下界，并可化为已知变分信息瓶颈（VIB）项和条件熵瓶颈（CEB）项的凸组合。此外，我们提供了定量分析，支持解耦表示能够带来更好的生成能力和多样性。我们还从表示学习和强化学习领域进行了下游任务实验，以从更广泛的机器学习视角评估我们的问题。结果表明，-TCVAE 一致地比基线学习到更多解耦表示，并在不牺牲视觉保真度的前提下生成更多样化的观测。特别值得注意的是，-TCVAE 在 MPI3D-Real 上表现出显著提升，这是我们研究中最真实的解耦数据集，证实了其在最大化单个变量信息性时表示复杂数据集的能力。最后，在最先进的基于模型的强化学习智能体 Director 上进行即用型测试，显著展示了 -TCVAE 在 loconav Ant Maze 任务上的下游用途。
引用
@article{arxiv.2411.00588,
title = {$\alpha$-TCVAE: On the relationship between Disentanglement and Diversity},
author = {Cristian Meo and Louis Mahon and Anirudh Goyal and Justin Dauwels},
journal= {arXiv preprint arXiv:2411.00588},
year = {2024}
}