使用熵引导的条件变分自编码器进行不确定性感知的生成式过采样
机器学习
2025-10-07 v3 人工智能
摘要
类别不平衡仍然是机器学习中的一个主要挑战，特别是在以非线性流形结构为主导的高维生物医学数据中。诸如 SMOTE 等传统的过采样方法依赖于局部线性插值，通常会产生不合理的合成样本。诸如条件变分自编码器（CVAEs）等深度生成模型能更好地捕捉非线性分布，但标准变体平等地对待所有少数类样本，忽略了 Borderline-SMOTE 和 ADASYN 等启发式方法所强调的不确定、边界区域样本的重要性。我们提出了带有 CVAE 的局部熵引导过采样（LEO-CVAE），这是一种将局部不确定性显式纳入表示学习和数据生成的生成式过采样框架。为了量化不确定性，我们计算样本邻域内类别分布的香农熵：高熵表示更大的类别重叠，作为不确定性的代理。LEO-CVAE 通过两种机制利用这一信号： 局部熵加权损失（LEWL），强调在不确定区域的鲁棒学习； 熵引导的采样策略，将生成集中在这些信息丰富的类别重叠区域。应用于临床基因组学数据集（ADNI 和 TCGA 肺癌），LEO-CVAE 持续提升了分类器性能，优于传统的过采样和生成式基线。这些结果突出了不确定性感知的生成式过采样在由复杂非线性结构主导的领域（如组学数据）中进行不平衡学习的价值。
引用
@article{arxiv.2509.25334,
title = {Uncertainty-Aware Generative Oversampling Using an Entropy-Guided Conditional Variational Autoencoder},
author = {Amirhossein Zare and Amirhessam Zare and Parmida Sadat Pezeshki and Herlock and Rahimi and Ali Ebrahimi and Ignacio Vázquez-García and Leo Anthony Celi},
journal= {arXiv preprint arXiv:2509.25334},
year = {2025}
}
备注
16 pages, 2 figures