InkSight：通过教导视觉 - 语言模型读写实现离线到手写体在线转换
计算机视觉与模式识别
2025-06-18 v4 人工智能
摘要
数字笔记日益普及，提供了一种持久、可编辑且易于索引的笔记存储方式，即以矢量化形式存在的“数字墨水”。然而，这种笔记方式与传统纸笔笔记之间仍存在巨大差距，而后者仍被绝大多数人所青睐。我们的工作 InkSight 旨在弥合这一差距，使物理笔记使用者能够轻松将其作品（离线手写）转换为数字墨水（在线手写），我们将此过程称为“去渲染”（derendering）。先前关于该主题的研究主要集中在图像的几何属性上，导致其泛化能力局限于训练域之外。我们的方法结合了阅读和书写先验，使得在缺乏大量难以获取的配对样本的情况下也能训练模型。据我们所知，这是首项能够有效对具有多样视觉特征和背景的任意照片中的手写文本进行去渲染的工作。此外，该方法还能泛化到其训练域之外的简单草图。人工评估显示，在我们的模型于具有挑战性的 HierText 数据集上生成的样本中，87% 被视为输入图像的有效描迹，67% 看起来像由人类描绘的笔迹轨迹。
引用
@article{arxiv.2402.05804,
title = {InkSight: Offline-to-Online Handwriting Conversion by Teaching Vision-Language Models to Read and Write},
author = {Blagoj Mitrevski and Arina Rak and Julian Schnitzler and Chengkun Li and Andrii Maksai and Jesse Berent and Claudiu Musat},
journal= {arXiv preprint arXiv:2402.05804},
year = {2025}
}
备注
Accepted by Transactions on Machine Learning Research