Sim2Real Docs：基于光线追踪渲染的自然场景文档域随机化
计算机视觉与模式识别
2021-12-20 v1 人工智能
机器学习
摘要
过去，面向数字化文档的计算机视觉系统可依赖系统性采集的高质量扫描件。如今，涉及数字文档的交易更可能以非专业人员拍摄的手机照片上传为起点。因此，用于文档自动化的计算机视觉现在必须考虑自然场景语境下捕获的文档。另一挑战在于文档处理任务目标可能高度依赖具体用例，这使得公开可用数据集效用有限，而人工标注数据成本高且在用例间难以迁移。为解决这些问题，我们创建了 Sim2Real Docs——一个用于合成数据集并对自然场景中的文档进行域随机化的框架。Sim2Real Docs 支持使用 Blender（一款开源 3D 建模与光线追踪渲染工具）对文档进行程序化 3D 渲染。通过模拟光、几何、相机与背景的物理交互渲染，我们合成了自然场景语境下的文档数据集。每次渲染均配有指定相关潜在特征的用例特定真值数据，从而生成无限的适任务训练数据。机器学习模型的作用则是求解该渲染管线所提出的逆问题。此类模型可进一步利用真实世界数据通过微调或调整域随机化参数进行迭代。
引用
@article{arxiv.2112.09220,
title = {Sim2Real Docs: Domain Randomization for Documents in Natural Scenes using Ray-traced Rendering},
author = {Nikhil Maddikunta and Huijun Zhao and Sumit Keswani and Alfy Samuel and Fu-Ming Guo and Nishan Srishankar and Vishwa Pardeshi and Austin Huang},
journal= {arXiv preprint arXiv:2112.09220},
year = {2021}
}
备注
Accepted to Neurips 2021 Data Centric AI (DCAI) Workshop