用于旋转校正及更多任务的半监督耦合薄板样条模型

薄板样条（Thin-plate spline, TPS）是一种主变换，允许通过控制点运动表示弹性、非线性变换。随着控制点数量增加，该变换的灵活性日益增强，但通常会遭遇由内容失真等不良问题引发的瓶颈。本文探讨 TPS 在基于单图像的变换任务中的通用应用，如旋转校正、图像矩形化与肖像校正。为打破此瓶颈，我们提出耦合薄板样条模型（CoupledTPS），将多个具有有限控制点的 TPS 迭代耦合为更灵活、更强大的变换。具体而言，我们首先设计一种迭代搜索，根据当前隐状态预测新控制点。随后，我们提出以变换流作为桥梁耦合不同 TPS 变换，有效消除多次变换导致的插值误差。此外，鉴于标注成本高昂，我们开发了一种半监督学习方案，通过利用无标签数据提升变换质量。该方案通过对无标签数据的搜索控制点与其图像增强进行双重变换来构建，从而产生隐式校正一致性约束。最后，我们收集大量无标签数据，以展示半监督方案在旋转校正中的优势。大量实验表明，CoupledTPS 在旋转校正及更多任务上优于现有最先进（SoTA）方案，具有优越性与普适性。代码与数据可在 https://github.com/nie-lang/CoupledTPS 获取。