ViTMatte：利用预训练普通视觉 Transformer 提升图像抠图
计算机视觉与模式识别
2023-06-01 v2
摘要
近来，普通视觉 Transformer（ViTs）凭借其强大的建模能力和大规模预训练，在各种计算机视觉任务上展现出令人印象深刻的性能。然而，它们尚未攻克图像抠图问题。我们假设图像抠图也可由 ViTs 提升，并提出了一种新颖高效且鲁棒的基于 ViT 的抠图系统，名为 ViTMatte。我们的方法利用（i）混合注意力机制结合卷积颈，帮助 ViTs 在抠图任务中实现优异的性能-计算权衡。（ii）此外，我们引入细节捕捉模块，其仅由简单的轻量卷积组成，以补充抠图所需的细节信息。据我们所知，ViTMatte 是首个通过简洁适配释放 ViT 在图像抠图上潜力的工作。它从 ViT 继承了许多优越属性到抠图，包括各种预训练策略、简洁的架构设计和灵活的推理策略。我们在图像抠图最常用的基准 Composition-1k 和 Distinctions-646 上评估 ViTMatte，我们的方法取得了最先进的性能，并大幅优于先前的抠图工作。
引用
@article{arxiv.2305.15272,
title = {ViTMatte: Boosting Image Matting with Pretrained Plain Vision Transformers},
author = {Jingfeng Yao and Xinggang Wang and Shusheng Yang and Baoyuan Wang},
journal= {arXiv preprint arXiv:2305.15272},
year = {2023}
}
备注
codes: https://github.com/hustvl/ViTMatte