面向迭代生成的可扩展自适应计算
机器学习
2023-06-16 v2 计算机视觉与模式识别
神经与进化计算
摘要
自然数据具有冗余性，然而主流架构在其输入与输出空间上均匀地平铺计算。我们提出循环接口网络 (RINs)，一种基于注意力的架构，将其核心计算与数据维度解耦，从而实现自适应计算，以更可扩展地生成高维数据。RINs 将大部分计算（即全局自注意力）集中于一组潜令牌，利用交叉注意力在潜令牌与数据令牌之间读取和写入（即路由）信息。堆叠 RIN 模块可实现自底向上（数据到潜）与自顶向下（潜到数据）的反馈，从而产生更深且更具表达力的路由。尽管该路由带来挑战，但在循环计算设定中此问题较不严重，因为任务（及路由问题）逐渐变化，例如扩散模型的迭代生成。我们展示了如何利用循环：在反向扩散过程的每次前向传播中，以先前的计算所得的潜令牌来条件化当前的潜令牌，即潜自条件化。RINs 在图像与视频生成上取得了最优的像素扩散模型，可扩展到 1024X1024 图像而无需级联或引导，同时具有领域无关性，且比 2D 与 3D U-Nets 高效多达 10 倍。
引用
@article{arxiv.2212.11972,
title = {Scalable Adaptive Computation for Iterative Generation},
author = {Allan Jabri and David Fleet and Ting Chen},
journal= {arXiv preprint arXiv:2212.11972},
year = {2023}
}
备注
ICML'23. Code at https://github.com/google-research/pix2seq