基于热方程的自监督学习
计算机视觉与模式识别
2022-11-24 v1 机器学习
摘要
本文提出一种基于将热方程拓展至高维特征空间的自监督学习新视角。具体而言，我们通过稳态条件去除时间依赖性，并将剩余的 x–y 各向同性 2D 拉普拉斯算子拓展为线性相关。进而，我们通过将 x 与 y 轴拆分为两个一阶线性微分方程来简化之。该简化显式地对水平与垂直方向的空间不变性分别建模，支持跨图像块的预测。这引入了名为 QB-Heat 的极简掩码图像建模（MIM）方法。QB-Heat 保留大小为四分之一图像的单块不掩码，并线性外推其余三个被掩码的四分之一。它将 MIM 引入 CNN 而无需繁复技巧，甚至适用于预训练轻量网络，该网络适于图像分类与目标检测且无需微调。在预训练参数量 5.8M、FLOPs 285M 的 Mobile-Former 上对比 MoCo-v2：QB-Heat 在 ImageNet 线性探测上持平，但在非线性探测（于线性分类器前加 transformer 块）上明显更优（65.6% vs. 52.9%）。当迁移至冻结骨干的目标检测时，QB-Heat 分别超越 MoCo-v2 与 ImageNet 监督预训练 7.9 与 4.5 AP。本工作对视觉表征中跨不同形状与纹理的不变性给出深刻假设：水平与垂直导数间的线性关系。代码将公开。
引用
@article{arxiv.2211.13228,
title = {Self-Supervised Learning based on Heat Equation},
author = {Yinpeng Chen and Xiyang Dai and Dongdong Chen and Mengchen Liu and Lu Yuan and Zicheng Liu and Youzuo Lin},
journal= {arXiv preprint arXiv:2211.13228},
year = {2022}
}