基于稀疏Mixture-of-Experts的统一Mamba模型图像校正与重塑

图像校正与重塑是实用摄影系统（如智能手机）中重要的任务。近期深度学习技术的突破显著提升了这些领域的性能。然而，现有方法主要依赖于特定于任务的体系结构，严重限制了其泛化能力及其在广泛不同任务上的有效应用。在本文中，我们提出统一校正框架（UniRect），从一致的失真校正视角综合解决这些实用任务。我们的框架通过模拟不同镜头类型，将各种任务特定的逆问题纳入一般失真模型。为处理多样化失真，UniRect采用一种双组件结构的任务无关校正框架：一个变形模块，利用新颖的残差渐进细样样条（RP-TPS）模型处理复杂的几何变形；随后的恢复模块则采用残差Mamba块（RMBs）抵消变形过程造成的退化，提高输出图像的保真度。此外，我们设计稀疏Mixture-of-Experts（SMoEs）结构，以规避多任务学习中因失真差异导致的重大任务竞争。广泛的实验表明，我们的模型在与最新方法的比较中实现了最佳性能。