AdaCat：自回归模型的自适应类别离散化
机器学习
2022-08-04 v1 人工智能
机器学习
摘要
自回归生成模型可估计复杂的连续数据分布，如 RL 环境中的轨迹展开、图像强度与音频。大多数最先进模型将连续数据离散为若干区间，并利用区间上的类别分布来近似连续数据分布。其优势在于类别分布可轻松表达多模态且易于优化。然而，若不显著增加区间数量，此种近似无法表达密度的急剧变化，导致参数效率低下。我们提出一种高效、具表达力、多模态的参数化方法，称为自适应类别离散化（AdaCat）。AdaCat 对自回归模型的每一维进行自适应离散化，使模型能将密度分配到感兴趣的精细区间，提升参数效率。AdaCat 同时推广了类别分布与基于分位数的回归。AdaCat 是任何基于离散化的分布估计器的简单附加模块。在实验中，AdaCat 改进了真实表格数据、图像、音频与轨迹的密度估计，并改进了基于模型的离线 RL 中的规划。
引用
@article{arxiv.2208.02246,
title = {AdaCat: Adaptive Categorical Discretization for Autoregressive Models},
author = {Qiyang Li and Ajay Jain and Pieter Abbeel},
journal= {arXiv preprint arXiv:2208.02246},
year = {2022}
}
备注
Uncertainty in Artificial Intelligence (UAI) 2022 13 pages, 4 figures