Analog Bits：利用带自条件的扩散模型生成离散数据
计算机视觉与模式识别
2023-03-02 v2 人工智能
计算与语言
机器学习
摘要
我们提出Bit Diffusion：一种利用连续状态和连续时间扩散模型生成离散数据的简单通用方法。我们方法背后的主要思想是先将被离散数据表示为二进制位，然后训练连续扩散模型将这些位建模为实数，我们称之为模拟位(analog bits)。为生成样本，模型先生成模拟位，然后对其进行阈值化处理以获得表示离散变量的位。我们进一步提出两种简单技术，即自条件(Self-Conditioning)和非对称时间间隔(Asymmetric Time Intervals)，它们显著提升了样本质量。尽管简单，所提方法在离散图像生成和图像描述任务中均能取得强劲性能。对于离散图像生成，我们在CIFAR-10(具有3K个离散8位词元)和ImageNet-64x64(具有12K个离散8位词元)上均显著改进了先前最优结果，在样本质量(以FID衡量)和效率上均优于最佳自回归模型。对于MS-COCO数据集上的图像描述，我们的方法与自回归模型相比取得了具有竞争力的结果。
引用
@article{arxiv.2208.04202,
title = {Analog Bits: Generating Discrete Data using Diffusion Models with Self-Conditioning},
author = {Ting Chen and Ruixiang Zhang and Geoffrey Hinton},
journal= {arXiv preprint arXiv:2208.04202},
year = {2023}
}
备注
ICLR'23