具有增强采样方案的掩码生成建模
机器学习
2023-09-18 v1 人工智能
机器学习
摘要
本文提出了一种用于掩码非自回归生成建模的新颖采样方案。我们指出了TimeVQVAE、MaskGIT和Token-Critic在其采样过程中的局限性，并提出了增强采样方案（ESS）以克服这些局限性。ESS明确确保样本的多样性和保真度，并由三个阶段组成：朴素迭代解码、关键反向采样和关键重采样。ESS首先使用MaskGIT中提出的朴素迭代解码对令牌集进行采样，确保样本多样性。然后，该令牌集经历关键反向采样，掩码导致不真实样本的令牌。之后，关键重采样重建被掩码的令牌，直到达到最终采样步骤以确保高保真度。关键重采样使用从自Token-Critic获得的置信度分数来更好地衡量采样令牌的真实感，而关键反向采样利用量化潜向量空间的结构来发现不真实的采样路径。我们使用UCR时间序列档案中的所有128个数据集，证明了ESS在无条件采样和类条件采样中的显著性能提升。
引用
@article{arxiv.2309.07945,
title = {Masked Generative Modeling with Enhanced Sampling Scheme},
author = {Daesoo Lee and Erlend Aune and Sara Malacarne},
journal= {arXiv preprint arXiv:2309.07945},
year = {2023}
}