AllSpark：在Transformer中从未标注特征重生标注特征用于半监督语义分割

半监督语义分割（SSSS）被提出以减轻耗时像素级手动标注的负担，它利用有限的标注数据和大量未标注数据。当前最先进的方法使用真实标签训练标注数据，使用伪标签训练未标注数据。然而，这两个训练流程是分离的，这使得标注数据主导训练过程，导致伪标签质量低，进而产生次优结果。为了缓解这个问题，我们提出了AllSpark，它通过通道级交叉注意力机制从未标注特征中重生标注特征。我们进一步引入了语义记忆和通道语义分组策略，以确保未标注特征充分代表标注特征。AllSpark在架构层面而非框架层面为SSSS提供了新的设计思路，避免了日益复杂的训练流程设计。它也可以被视为一个灵活的瓶颈模块，可以无缝集成到通用的基于Transformer的分割模型中。所提出的AllSpark在Pascal、Cityscapes和COCO基准测试的所有评估协议上均优于现有方法，无需额外技巧。代码和模型权重可在https://github.com/xmed-lab/AllSpark获取。