图像作为一阶范数加线性自回归：揭示数学不变性
计算机视觉与模式识别
2023-10-13 v2
摘要
本文介绍了一种适用于多种图像的新型数学性质，称为FINOLA（一阶范数加线性自回归，First-Order Norm+Linear Autoregressive）。FINOLA将潜空间中的每幅图像表示为一阶自回归过程，其中每个回归步骤仅对其直接邻域的归一化值应用一个共享线性模型。这一有趣的性质揭示了一种超越单个图像的数学不变性。从图像网格扩展到连续坐标，我们揭示了两个潜在偏微分方程的存在。我们从两个不同角度验证FINOLA性质：图像重建与自监督学习。首先，我们展示了FINOLA能够从一个置于中心位置的单向量自回归出高达256x256的特征图（与图像分辨率相同），仅使用三个3x3卷积层作为解码器便成功重建原始图像。其次，我们通过采用简单的掩码预测方法利用FINOLA进行自监督学习。编码单个未掩码的四分块，我们自回归地预测周围被掩码区域。值得注意的是，该预训练表征在图像分类和目标检测任务中非常有效，即使集成到轻量网络中且无需大量微调。代码将公开提供。
引用
@article{arxiv.2305.16319,
title = {Image as First-Order Norm+Linear Autoregression: Unveiling Mathematical Invariance},
author = {Yinpeng Chen and Xiyang Dai and Dongdong Chen and Mengchen Liu and Lu Yuan and Zicheng Liu and Youzuo Lin},
journal= {arXiv preprint arXiv:2305.16319},
year = {2023}
}