NARAIM：原生宽高比自回归图像模型
计算机视觉与模式识别
2024-12-06 v2
摘要
虽然视觉transformer能够解决各种计算机视觉任务，但尚无预训练方法能像语言模型那样展现相同的扩展规律。自回归模型取得了有前景的成果，但通常在裁剪或转换为方形图像上训练，这会扭曲或破坏输入中存在的信息。为克服这一限制，我们提出NARAIM，一种在原生宽高比下进行自回归目标预训练的视觉模型。通过保持原生宽高比，我们保留了原始空间上下文，从而增强了模型解释视觉信息的能力。在我们的实验中，我们表明保持宽高比可提高下游分类任务的性能。
引用
@article{arxiv.2410.10012,
title = {NARAIM: Native Aspect Ratio Autoregressive Image Models},
author = {Daniel Gallo Fernández and Robert van der Klis and Răzvan-Andrei Matişan and Janusz Partyka and Efstratios Gavves and Samuele Papa and Phillip Lippe},
journal= {arXiv preprint arXiv:2410.10012},
year = {2024}
}
备注
Accepted to NeurIPS, see https://openreview.net/forum?id=7Iuh8VWU66