探索长序列掩码自编码器
计算机视觉与模式识别
2022-10-14 v1
摘要
掩码自编码（MAE）已成为跨多个领域预训练表示的有效方法。与自然语言中的离散词元不同，图像 MAE 的输入是连续的并受到额外规范约束。我们系统研究了预训练阶段各项输入规范，发现序列长度是进一步扩展 MAE 的一个关键维度。我们的研究引出了对原始方案改动极小的长序列版 MAE，仅需将掩码尺寸与图像块尺寸解耦。对于目标检测与语义分割，我们的长序列 MAE 在所有实验设置中均展现一致增益，且在迁移时无需额外计算开销。尽管长序列预训练被认为对检测与分割最为有益，我们也通过保持标准图像尺寸并仅增加序列长度，在 ImageNet-1K 分类上取得了强劲结果。我们希望我们的发现能为计算机视觉中的扩展提供新的见解与途径。
引用
@article{arxiv.2210.07224,
title = {Exploring Long-Sequence Masked Autoencoders},
author = {Ronghang Hu and Shoubhik Debnath and Saining Xie and Xinlei Chen},
journal= {arXiv preprint arXiv:2210.07224},
year = {2022}
}
备注
11 pages