GenMask：适用于分割的 DiT 通过直接 mask 生成
计算机视觉与模式识别
2026-03-27 v2
摘要
最近的分割方法利用预训练的生成模型作为特征提取器，将分割作为下游适应任务通过间接特征检索来实现。这种隐式使用存在根本性的表示错位，也依赖于高度依赖间接特征提取管道，这些管道复杂化了工作流程并限制了适应性。在本文中，我们认为与其进行间接适应，不如以生成方式直接训练分割任务。我们识别了一个到这一统一表格式的关键障碍：VAE 潜在的二值 mask sharply 分布、对噪声鲁棒且线性可分，不同于自然图像潜在。为弥合这一差距，我们引入了二值 mask 的时间步采样策略，以强调分割的极端噪声水平和图像生成的适度噪声，实现和谐的联合训练。我们提出了 GenMask，即 DiT 旨在生成黑白分割 mask 以及彩色图像于 RGB 空间下保持原始生成目标。GenMask 保留原始 DiT 架构，无需针对分割任务定制的特征提取管道。经验上，GenMask 在指涉和推理分割基准中实现了 state-of-the-art 性能，消itest 量化了每个组件的贡献。
引用
@article{arxiv.2603.23906,
title = {GenMask: Adapting DiT for Segmentation via Direct Mask Generation},
author = {Yuhuan Yang and Xianwei Zhuang and Yuxuan Cai and Chaofan Ma and Shuai Bai and Jiangchao Yao and Ya Zhang and Junyang Lin and Yanfeng Wang},
journal= {arXiv preprint arXiv:2603.23906},
year = {2026}
}
备注
Accepted by cvpr 2026