变分自编码器中 influential factors 的发现
机器学习
2025-12-10 v3 机器学习
摘要
在机器学习领域，如何在无需人工干预或直觉辅助的情况下识别并监督所学表征，以提取有用知识或服务于下游任务，仍是一个关键问题。本文关注于监督变分自编码器（VAE）提取的 influential factors。VAE 被提出用于学习独立的低维表征，但面临有时预设因子被忽略的问题。我们认为输入与表征中每个所学因子之间的互信息是发现 influential factors 的必要指示量。我们发现 VAE 目标倾向于在因子维度上相对于数据本征维度诱导互信息稀疏性，从而导致一些对数据重建作用可忽略的非 influential factors。我们表明互信息还会影响 VAE 重建误差的下界以及下游分类任务。为使该指示量可用，我们设计了一种计算 VAE 互信息的算法并证明其一致性。在 MNIST、CelebA 和 DEAP 数据集上的实验结果表明，互信息有助于确定 influential factors，其中一些具有可解释性并可用于进一步的生成与分类任务，且有助于在 DEAP 数据集上发现与情绪相关的变量。
引用
@article{arxiv.1809.01804,
title = {Discovering Influential Factors in Variational Autoencoders},
author = {Shiqi Liu and Jingxin Liu and Qian Zhao and Xiangyong Cao and Huibin Li and Deyu Meng and Hongying Meng and Sheng Liu},
journal= {arXiv preprint arXiv:1809.01804},
year = {2025}
}
备注
15 pages, 8 figures