面向导向混合专家图像回归的自适应分割初始化方法
计算机视觉与模式识别
2024-09-17 v1
摘要
核图像回归方法在许多图像处理任务中表现出极高的效率，例如图像与光场压缩、Gaussian Splatting、去噪和超分辨率。这些方法的参数估计通常采用梯度下降迭代优化，给许多应用带来了巨大的计算负担。本文引入一种新颖的自适应分割初始化方法，旨在优化导向混合专家（Steered-Mixture-of-Experts, SMoE）门控网络和带有导向核的径向基函数（Radial-Basis-Function, RBF）网络。该新颖的初始化方法将核分配到预计算的图像分割块中。在迭代优化和核稀疏化过程中，逐分割块导出最优核数量、核位置和导向参数。然后将来自“局部”分割块的核信息转化为“全局”初始化，可直接用于 SMoE、RBF 及相关核图像回归方法的迭代优化。结果表明，与广泛使用的规则网格初始化、SOTA 的 K-Means 初始化以及先前引入的分割初始化方法相比，该方法能够实现显著的客观与主观质量提升，同时大幅提高回归模型的稀疏性。在相同质量下，该新颖的初始化方法使模型所需的核数量减少约 50%。此外，该方法还显著缩短了收敛时间，整体运行时间节省高达 50%。该分割初始化策略本身支持高度并行计算；理论上，它可以被划分为与图像中分割块数量相同的任务。仅需使用四个并行 GPU，初始化阶段即可节省 50% 的运行时间。
引用
@article{arxiv.2409.10101,
title = {Adaptive Segmentation-Based Initialization for Steered Mixture of Experts Image Regression},
author = {Yi-Hsin Li and Sebastian Knorr and Mårten Sjöström and Thomas Sikora},
journal= {arXiv preprint arXiv:2409.10101},
year = {2024}
}