InkFM：面向整页在线手写笔记理解的基础模型
计算机视觉与模式识别
2025-04-01 v1 人工智能
机器学习
摘要
平板电脑和触控笔在记笔记方面日益普及。为了优化这一体验并确保流畅高效的工作流程，开发准确解释和理解手写数字笔记内容的方法至关重要。我们提出了一种名为 InkFM 的基础模型，用于分析整页手写内容。该模型在多样化的任务混合数据上训练，提供了独特的功能组合：识别 28 种不同文字的文本、数学表达式识别，以及将页面分割为文本和绘图等不同元素。我们的结果表明，这些任务可以有效地统一在单一模型中，开箱即用的文本行分割质量超越了 docTR 等公开基线。在公开数据集上对基础模型进行微调或 LoRA 微调进一步提高了页面分割质量，实现了最先进的文本识别（DeepWriting、CASIA、SCUT 和 Mathwriting 数据集）和草图分类（QuickDraw）。InkFM 的这种适应性为开发手写输入应用提供了强大的起点。
引用
@article{arxiv.2503.23081,
title = {InkFM: A Foundational Model for Full-Page Online Handwritten Note Understanding},
author = {Anastasiia Fadeeva and Vincent Coriou and Diego Antognini and Claudiu Musat and Andrii Maksai},
journal= {arXiv preprint arXiv:2503.23081},
year = {2025}
}