基于二进制球形量化的图像和视频分词
计算机视觉与模式识别
2024-06-12 v1 信息论
机器学习
图像与视频处理
math.IT
摘要
我们提出了一种新的基于transformer的图像和视频 tokenizer，采用Binary Spherical Quantization(BSQ)。BSQ将高维视觉嵌入投影到较低维的超球面，然后应用二进制量化。BSQ(1)在没有显式codebook的情况下是参数高效的，(2)可扩展到任意token维度，(3)紧凑：通过最低100倍压缩视觉数据。我们的tokenizer使用带有简单块状因果遮蔽的transformer encoder和decoder，以支持可变长度视频作为输入。 resulting BSQ-ViT在图像和视频重建基准测试上实现了最先进的视觉重建质量，吞吐量比最佳先前方法高出2.4倍。此外，通过学习自适应算术编码的autoregressive prior，BSQ-ViT在视频压缩中与最先进的视频压缩标准相当。BSQ-ViT还使masked language models能够实现与GAN和扩散方法相当的图像合成质量。
关键词
引用
@article{arxiv.2406.07548,
title = {Image and Video Tokenization with Binary Spherical Quantization},
author = {Yue Zhao and Yuanjun Xiong and Philipp Krähenbühl},
journal= {arXiv preprint arXiv:2406.07548},
year = {2024}
}
备注
Tech report