基于二维高斯溅射的 GaussianToken：一种有效图像标记器
计算机视觉与模式识别
2025-01-28 v1 人工智能
摘要
有效图像标记是多模态理解和生成任务的关键，因为需要与离散文本数据对齐。为此，现有方法利用向量量化 (VQ) 将像素投影到离散词表，并从离散表示重构图像。然而，与连续潜在空间相比，受限的离散词表空间显著限制了这些图像标记器的表示能力。本文提出了 GaussianToken：一种基于二维高斯溅射的有效图像标记器作为解决方案。我们首先将编码样本表示为多个灵活的特征二维高斯分布，这些高斯分布由位置、旋转角度、缩放因子和特征系数 characterize。我们采用标准量化处理高斯特征，然后将量化结果与其他内在高斯参数拼接，以进行相应的溅射操作和随后的解码模块。在一般情况下，GaussianToken 将二维高斯分布的局部影响整合到离散空间，从而增强了图像标记器的表示能力。在 CIFAR、Mini-ImageNet 和 ImageNet-1K 上的竞争性重建性能表明了本框架的有效性。我们的代码可在 https://github.com/ChrisDong-THU/GaussianToken 获取。
引用
@article{arxiv.2501.15619,
title = {GaussianToken: An Effective Image Tokenizer with 2D Gaussian Splatting},
author = {Jiajun Dong and Chengkun Wang and Wenzhao Zheng and Lei Chen and Jiwen Lu and Yansong Tang},
journal= {arXiv preprint arXiv:2501.15619},
year = {2025}
}