ClustViT：基于聚类的标记合并用于语义分割
算子代数
2026-04-24 v2 环与代数
摘要
视觉Transformer能够在各种上下文中实现高精度和强鲁棒性，但由于其二次注意力复杂度，限制了其在实际机器人系统中的实际应用。近期研究聚焦于根据图像复杂度动态合并标记。标记合并在分类任务中表现良好，但用于稠密预测时不够理想。我们提出ClustViT，扩展视觉Transformer(ViT)主干网络以处理语义分割。在我们的架构中，一个可训练的Cluster模块引导合并相似的标记，利用分割掩码中的伪聚类。随后，Regenerator模块为下游头恢复细节。我们的方法在三个不同数据集上实现了最高2.18倍更少的GFLOPs和1.64倍更快的推理速度，同时保持可比的分割精度。我们的代码和模型将对外公开。
引用
@article{arxiv.2510.01947,
title = {Algebraic singular functions are not always dense in the ideal of $C^*$-singular functions},
author = {Diego Martínez and Nóra Szakács},
journal= {arXiv preprint arXiv:2510.01947},
year = {2026}
}
备注
Accepted version. Typos were corrected and references updated. Prop 4.12 and some comments have been removed to shorten the paper