在生成模型潜空间中编码二元概念以增强数据表示
机器学习
2023-03-23 v1 计算机视觉与模式识别
摘要
二元概念被人类经验性地用于高效泛化。它们基于伯努利分布，而后者是信息的基石。这些概念涵盖低级与高级特征，如“大与小”以及“神经元激活与否”。二元概念是无处不在的特征，可用于迁移知识以提升模型泛化能力。我们提出一种新颖的二值化正则化方法，以促进二元概念的学习，从而改善自编码器中数据生成的质量。我们在数据生成过程中引入二值化超参数 以对称解耦潜空间。我们证明该方法可轻松应用于现有变分自编码器（VAE）变体，以鼓励对称解耦、改善重构质量，并在无计算开销的情况下防止后验坍缩。我们还证明该方法能提升现有模型学习更具可迁移性的表示，并为输入分布生成更具代表性的样本，从而在持续学习设定下通过生成式重放缓解灾难性遗忘。
引用
@article{arxiv.2303.12255,
title = {Encoding Binary Concepts in the Latent Space of Generative Models for Enhancing Data Representation},
author = {Zizhao Hu and Mohammad Rostami},
journal= {arXiv preprint arXiv:2303.12255},
year = {2023}
}