使用带有互信息约束的对比条件变分自编码器提取风格特征
计算机视觉与模式识别
2025-05-06 v2 机器学习
机器学习
摘要
从无标签数据中提取诸如风格等细粒度特征对于数据分析至关重要。诸如变分自编码器 (VAE) 等无监督方法可以提取通常与其他特征混合的风格。条件 VAE (CVAE) 可以使用类标签隔离风格；然而，目前尚无仅使用无标签数据提取风格的确立方法。在本文中，我们提出了一种基于 CVAE 的方法，仅使用无标签数据提取风格特征。所提出的模型由提取与风格无关特征的对比学习 (CL) 部分和提取风格特征的 CVAE 部分组成。CL 模型以自监督方式学习独立于数据增强的表示，这可以被视为风格上的扰动。将来自预训练 CL 模型的与风格无关的特征作为条件，CVAE 学习仅提取风格。此外，我们引入了基于 CL 和 VAE 特征之间互信息的约束，以防止 CVAE 忽略该条件。使用两个简单的数据集 MNIST 和基于 Google Fonts 的原始数据集进行的实验表明，所提出的方法能够高效地提取风格特征。还使用真实世界自然图像数据集进行了进一步实验，以说明该方法的可扩展性。
引用
@article{arxiv.2303.08068,
title = {Style Feature Extraction Using Contrastive Conditioned Variational Autoencoders with Mutual Information Constraints},
author = {Suguru Yasutomi and Toshihisa Tanaka},
journal= {arXiv preprint arXiv:2303.08068},
year = {2025}
}