MetaWriter：利用元学习提示微调的个性化手写文本识别
计算机视觉与模式识别
2025-05-28 v1
摘要
手写文本识别（HTR）的最新进展实现了手写文本向数字格式的有效转换。然而，在不同书写风格间实现稳健识别仍具挑战。由于模型架构和训练策略的限制，传统HTR方法在测试时缺乏针对书写者的特定个性化。通过基于梯度的元学习来弥合这一差距的现有尝试仍需要有标签样本，且存在参数低效的微调问题，导致大量的计算和内存开销。为克服这些挑战，我们提出了一种高效框架，将个性化表述为提示微调，并结合带有自监督损失的辅助图像重建任务，以利用无标签的测试时样本指导提示适应。为确保自监督损失能有效最小化文本识别误差，我们利用元学习来学习提示的最优初始化。因此，我们的方法允许模型通过更新不到1%的参数来高效捕捉独特的书写风格，并消除了耗时的标注过程。我们在RIMES和IAM Handwriting Database基准上验证了我们的方法，该方法在使用少20倍参数的情况下持续优于先前SOTA方法。我们相信这代表了个性化手写文本识别的重大进展，为在资源受限场景下更可靠、更实用的部署铺平了道路。
引用
@article{arxiv.2505.20513,
title = {MetaWriter: Personalized Handwritten Text Recognition Using Meta-Learned Prompt Tuning},
author = {Wenhao Gu and Li Gu and Ching Yee Suen and Yang Wang},
journal= {arXiv preprint arXiv:2505.20513},
year = {2025}
}
备注
CVPR2025