度量卷积:自适应图像卷积的统一理论
计算机视觉与模式识别
2025-07-31 v2 微分几何
摘要
标准卷积在图像处理和深度学习中普遍存在,但其固定核限制了适应性。已有几种参考核网格的变形策略被提出。然而,它们缺乏统一的理论框架。通过回归图像的度量视角,将图像视为配备有局部距离和测地距离(对称的黎曼度量或非对称的芬斯勒度量)的二维流形,我们提供了一个统一原理:核位置是隐式度量的单位球样本。基于这一新视角,我们还提出了度量卷积,这是一种从显式信号相关度量中采样单位球的新方法,提供了具有几何正则化的可解释算子。该框架与基于梯度的优化兼容,可以直接替换应用于输入图像或神经网络深度特征的现有卷积。度量卷积通常需要更少的参数并提供更好的泛化能力。我们的方法在标准去噪和分类任务中表现出有竞争力的性能。
引用
@article{arxiv.2406.05400,
title = {Metric Convolutions: A Unifying Theory to Adaptive Image Convolutions},
author = {Thomas Dagès and Michael Lindenbaum and Alfred M. Bruckstein},
journal= {arXiv preprint arXiv:2406.05400},
year = {2025}
}
备注
Updated version, Accepted for publication at the IEEE/CVF International Conference on Computer Vision (ICCV) 2025