全球令牌与补丁令牌的相互增强：从理论到实践

准确且有效的离散图像标记化对于长图像序列处理至关重要。然而，当前方法僵化地以固定速率压缩所有内容，忽视了图像中信息密度的可变性，导致要么冗余，要么信息丢失。受信息熵启发，我们提出 TaTok，一个理论上依据的自适应图像标记化框架。我们严格识别了现有方法的两个关键缺陷：仅使用补丁令牌重建图像时信息不足，以及补丁令牌之间的信息冗余。为解决这些问题，我们引入全局令牌来建模补丁令牌之间的相互信息，并提出基于累积条件熵的动态令牌过滤（DTF）算法以消除冗余。实验确认 TaTok 的领先性能，实现 1.3 倍的 gFID 改进和 8.7 倍的推理加速。通过根据信息丰富程度分配令牌，TaTok 实现了更压缩且更准确的图像标记化，为未来研究提供了宝贵的见解。