熵生成式自编码：通过隐式自由能最小化
机器学习
2026-05-18 v1
摘要
尽管变分自编码器（VAEs）应用广泛，但本质上会出现后验塌陷问题，即隐变量实际上被忽略。这种失败源于显式的先验约束导致优化导向与无信息隐表征相关的损失景观区域。在本文中，我们引入熵自编码器（EAEs），其框架中唯一的显式目标为重构损失，熵通过自由能最小化的编码器集合间接生成隐变量的先验。该集合倾向于学习高体积的近最优解区域，而解码器更新则引导搜索轨迹朝向信息丰富的隐表征方向。我们展示EAEs通过学习非高斯、多模态的隐分布来缓解后验塌陷，这些分布产生多样且与数据一致的生成结果，并保留数据中各种底层结构。作为概念验证，我们展示一个EAEs捕获了反应扩散过程已知低维动力学的叠加。随后，我们展示EAEs在MNIST隐表征中识别隐式类别区分，并在CelebA数据集上展现出从“全人类”面部到个体特征的层次性理解。
引用
@article{arxiv.2605.16164,
title = {Entropic Auto-Encoding via Implicit Free-Energy Minimization},
author = {Hazhir Aliahmadi and Irina Babayan and Greg van Anders},
journal= {arXiv preprint arXiv:2605.16164},
year = {2026}
}
备注
22 pages, 5 figures