优化分层变分自编码器中的隐变量维度分配:平衡衰减与信息保留以实现分布外检测
机器学习
2025-06-13 v1
摘要
分布外(OOD)检测是机器学习中的关键任务,尤其对于需要可靠标记意外输入的安全关键应用而言。虽然分层变分自编码器(HVAE)相比传统 VAE 提供了更强的表征能力,但其性能对隐变量维度在各层之间的分配方式高度敏感。现有方法往往任意分配隐变量容量,导致表征无效或出现后验坍缩。在本工作中,我们引入了一个具有理论基础的框架,用于优化 HVAE 中的隐变量维度分配,借鉴信息论原理来形式化信息损失与表征衰减之间的权衡。我们在固定隐变量预算下证明了最优分配比例 的存在,并通过实验表明调节该比例能在不同数据集和架构上一致地提升 OOD 检测性能。我们的方法优于基准 HVAE 配置,并为合理的隐变量结构设计提供了实用指导,从而实现基于深度生成模型的更鲁棒的 OOD 检测。
引用
@article{arxiv.2506.10089,
title = {Optimizing Latent Dimension Allocation in Hierarchical VAEs: Balancing Attenuation and Information Retention for OOD Detection},
author = {Dane Williamson and Yangfeng Ji and Matthew Dwyer},
journal= {arXiv preprint arXiv:2506.10089},
year = {2025}
}
备注
41 pages, 6 figures