PolyMaX：基于掩码 Transformer 的通用密集预测
计算机视觉与模式识别
2023-11-13 v1
摘要
语义分割、深度估计和表面法向预测等密集预测任务可轻易表述为逐像素分类（离散输出）或回归（连续输出）。由于全卷积网络的流行，这种逐像素预测范式一直很受欢迎。然而，在近期分割任务的前沿，随着 transformer 架构尤其是掩码 transformer 的出现，社区已见证范式从逐像素预测向簇预测的转移，后者直接为掩码而非像素预测标签。尽管有此转变，基于逐像素预测范式的方法仍在需要连续输出的其他密集预测任务（如深度估计和表面法向预测）的基准上占主导。受 DORN 和 AdaBins 在深度估计中通过离散化连续输出空间所取得的成功启发，我们提出将基于簇预测的方法推广到通用密集预测任务。这使我们能用掩码 transformer 框架统一密集预测任务。值得注意的是，所得模型 PolyMaX 在 NYUD-v2 数据集的三个基准上展示了最先进的性能。我们希望这种简单而有效的设计能启发更多关于将掩码 transformer 用于更多密集预测任务的研究。代码和模型将公开。
引用
@article{arxiv.2311.05770,
title = {PolyMaX: General Dense Prediction with Mask Transformer},
author = {Xuan Yang and Liangzhe Yuan and Kimberly Wilber and Astuti Sharma and Xiuye Gu and Siyuan Qiao and Stephanie Debats and Huisheng Wang and Hartwig Adam and Mikhail Sirotenko and Liang-Chieh Chen},
journal= {arXiv preprint arXiv:2311.05770},
year = {2023}
}
备注
WACV 2024