向量量化在时空预测中失效了吗？探索一种可微的稀疏软向量量化方法
计算机视觉与模式识别
2025-05-20 v4 机器学习
摘要
时空预测在各个领域都至关重要，需要仔细平衡识别细微模式和过滤噪声。向量量化(VQ)似乎非常适合这一目的，因为它将输入向量量化为一组码本向量或模式。尽管VQ在各种计算机视觉任务中显示出前景，但令人惊讶的是，它在提高时空预测准确性方面表现不佳。我们将此归因于两个主要问题：由于不可微性导致的不准确优化以及硬VQ中有限的表示能力。为了应对这些挑战，我们引入了可微稀疏软向量量化(SVQ)，这是第一种增强时空预测的VQ方法。SVQ平衡了细节保留和噪声减少，提供了完全可微性以及稀疏回归的坚实基础。我们的方法采用两层MLP和广泛的码本来简化稀疏回归过程，显著降低计算成本，同时简化训练并提高性能。在五个时空基准数据集上的实证研究表明，SVQ达到了最先进的结果，包括在WeatherBench-S温度数据集上提高了7.9%，在视频预测基准(Human3.6M, KTH, KittiCaltech)上平均绝对误差降低了9.4%，以及图像质量(LPIPS)提高了17.3%。代码公开于https://github.com/Pachark/SVQ-Forecasting。
引用
@article{arxiv.2312.03406,
title = {Does Vector Quantization Fail in Spatio-Temporal Forecasting? Exploring a Differentiable Sparse Soft-Vector Quantization Approach},
author = {Chao Chen and Tian Zhou and Yanjun Zhao and Hui Liu and Liang Sun and Rong Jin},
journal= {arXiv preprint arXiv:2312.03406},
year = {2025}
}
备注
Accepted by KDD2025 research track