AttEntropy：论监督语义分割 Transformer 对新域中新物体的泛化能力
计算机视觉与模式识别
2024-12-31 v3
摘要
除了令人印象深刻的性能外，视觉 Transformer 已展现出编码其未被训练提取信息的显著能力。例如，该信息可用于执行分割或单目深度估计，尽管这些网络仅被训练用于图像识别。我们表明，当以监督方式显式训练 Transformer 用于一组类别的语义分割时，发生类似现象：一旦训练完成，它们甚至提供关于训练集中不存在类别的有价值信息。该信息可用于在诸如道路障碍物、停机坪停放的飞机、月球岩石和海上危险等各异域中对这些从未见过的类别的物体进行分割。
引用
@article{arxiv.2212.14397,
title = {AttEntropy: On the Generalization Ability of Supervised Semantic Segmentation Transformers to New Objects in New Domains},
author = {Krzysztof Lis and Matthias Rottmann and Annika Mütze and Sina Honari and Pascal Fua and Mathieu Salzmann},
journal= {arXiv preprint arXiv:2212.14397},
year = {2024}
}