具 Radamacher 保证的解缝 disentangled and distilled 编码器用于离群分布推理
机器学习
2025-12-12 v1
摘要
最近，变分自编码器 (VAE) 的解缝潜在空间被用于推理来自不同于训练样本的分布派生的多标签离群分布 (OOD) 测试样本。解缝潜在空间意味着潜在维度与生成因子或图像的重要特征之间存在一对多的映射。本文提出了一种解缝蒸馏编码器 (DDE) 框架，以压缩 OOD 推理器的大小以适用于资源受限设备，同时保持解缝特性。DDE 将模型压缩的学生-教师蒸馏形式化为带有解缝约束的约束优化问题。建立了基于 Radamacher 复杂度的蒸馏期间保持解缝的理论保证。该方法通过在 NVIDIA 上部署压缩模型进行经验评估。
关键词
引用
@article{arxiv.2512.10522,
title = {Disentangled and Distilled Encoder for Out-of-Distribution Reasoning with Rademacher Guarantees},
author = {Zahra Rahiminasab and Michael Yuhas and Arvind Easwaran},
journal= {arXiv preprint arXiv:2512.10522},
year = {2025}
}