UVDoc：基于神经网格的文档去畸变

从弯曲和起皱页面的随意照片中恢复打印文档原始平整的外观是一个常见的日常问题。在本文中，我们提出了一种新的基于网格的单图像文档去畸变方法。我们的方法通过一个全卷积深度神经网络执行几何畸变校正，该网络以双任务方式学习预测文档的 3D 网格和相应的 2D 去畸变网格，隐式地编码了 3D 纸张形状与其 2D 图像之间的耦合关系。为了允许去畸变模型在比常用的合成 Doc3D 数据集外观更逼真的数据上进行训练，我们创建并发布了我们自己的数据集，称为 UVDoc，该数据集结合了伪真实感文档图像与物理精确的 3D 形状和去畸变函数标注。我们的数据集标注了训练去畸变网络所需的所有信息，无需设计单独的损失函数来应对野外文档数据集中通常缺乏真实值的问题。我们进行了深入的评估，结果表明，通过引入我们新颖的伪真实感数据集，我们相对较小的网络架构在 DocUNet 基准测试上取得了 SOTA 结果。我们表明，UVDoc 数据集的伪真实感特性允许使用新的、更好的评估方法，例如光照校正的 MS-SSIM。我们提供了一个促进此类评估的新颖基准数据集，并提出了一种量化去畸变后线条平直度的指标。我们的代码、结果和 UVDoc 数据集可在 https://github.com/tanguymagne/UVDoc 获取。