熵热力图:利用滑动窗口香农分析定位基于 GPT 的 OCR 错误
计算机视觉与模式识别
2025-05-07 v2
摘要
诸如 OpenAI GPT-4o 等视觉语言模型可直接从图像转录数学文档,但其 token 级别的置信度信号很少被用于精确定位局部识别错误。我们提出一个熵热力图概念验证,将每个 token 的香农熵转化为视觉“不确定性景观”。通过使用固定长度的滑动窗口扫描熵序列,我们获得可能包含 OCR 错误(如缺失符号、不匹配的括号或乱码文本)的热点区域。使用一组在不同分辨率下渲染的精选扫描研究页面,我们将高亮的热点区域与 GPT-4o 产生的实际转录错误进行比较。我们的分析表明,绝大多数真实错误确实集中在高熵区域内。这项研究在一个最小化工程设置中证明,滑动窗口熵可以作为一种实用、轻量级的辅助工具,用于基于 GPT 的 OCR 后编辑。所有代码和标注指南均已发布,以鼓励复现和进一步研究。
引用
@article{arxiv.2505.00746,
title = {Entropy Heat-Mapping: Localizing GPT-Based OCR Errors with Sliding-Window Shannon Analysis},
author = {Alexei Kaltchenko},
journal= {arXiv preprint arXiv:2505.00746},
year = {2025}
}
备注
22 pages