基于热传导构建视觉模型
计算机视觉与模式识别
2025-04-15 v2
摘要
利用注意力机制的视觉表示模型面临着巨大的计算开销，特别是在追求大感受野时。在本研究中，我们旨在通过引入基于物理热传导原理的热传导算子（HCO）来缓解这一挑战。HCO将图像块视为热源，并通过自适应热能扩散对其相关性进行建模，从而实现鲁棒的视觉表示。HCO的计算复杂度为O(N^1.5)，因为它可以使用离散余弦变换（DCT）操作来实现。HCO是即插即用的，与深度学习骨干网络结合产生具有全局感受野的视觉表示模型（称为vHeat）。跨视觉任务的实验表明，除了更强的性能外，与Swin-Transformer相比，vHeat实现了高达3倍的吞吐量、减少80%的GPU内存分配和减少35%的计算FLOPs。代码可在https://github.com/MzeroMiko/vHeat获取。
引用
@article{arxiv.2405.16555,
title = {Building Vision Models upon Heat Conduction},
author = {Zhaozhi Wang and Yue Liu and Yunjie Tian and Yunfan Liu and Yaowei Wang and Qixiang Ye},
journal= {arXiv preprint arXiv:2405.16555},
year = {2025}
}