从 Wasserstein 渐变视角重新思考数值表格数据的扩散模型
机器学习
2024-06-25 v1 机器学习
摘要
扩散模型（DMs）在缺失数据插值（MDI）中受到关注，但仍存在两个长期被忽视的问题需解决：（1）插值不准，这源于扩散模型 inherently 追求样本多样性的生成过程；（2）训练困难，这源于模型训练阶段对掩码矩阵所需的复杂设计。为此，本文提出一种新颖的方法，称为 Kernelized Negative Entropy 正则化 Wasserstein 渐流插值（KnewImp）。具体而言，基于 Wasserstein 渐流（WGF）框架，本文首先证明问题（1）源于 DM 基于 MDI 的方法隐式最大化的成本函数等价于 MDI 的目标函数外加鼓励多样性的非负项。基于此，我们设计了一种带有抑制多样性的负熵的新型成本函数，并在 WGF 框架下推导了我们的 KnewImp 方法及其再现性希尔伯特空间。随后，我们证明了 KnewImp 的插值过程可由与联合分布相关的另一成本函数推导得出，从而无需掩码矩阵，从而自然解决问题（2）。大量实验表明，我们提出的 KnewImp 方法显著优于现有最先进的方法。
关键词
引用
@article{arxiv.2406.15762,
title = {Rethinking the Diffusion Models for Numerical Tabular Data Imputation from the Perspective of Wasserstein Gradient Flow},
author = {Zhichao Chen and Haoxuan Li and Fangyikang Wang and Odin Zhang and Hu Xu and Xiaoyu Jiang and Zhihuan Song and Eric H. Wang},
journal= {arXiv preprint arXiv:2406.15762},
year = {2024}
}