基于全局-局部双分支对齐与层次推理的零样态中文字符识别
计算机视觉与模式识别
2026-05-12 v1
摘要
中文字符类别数量极大，在开放场景中不常见字符频繁出现，使得零样态中文字符识别成为一个重要且具有挑战性的问题。现有的基于图像-描述序列(IDS)的检索方法通常将字符图像和其 ideographic description 序列编码为单个全局向量进行匹配。虽然高效，但这种整体对齐往往未充分建模局部组件差异。此外，直接引入 patch-token 级别的细粒度交互会受到 IDS 中结构算子噪声以及全候选检索高成本的双重制约。为解决此问题，我们提出了全局-局部层次感知网络 (GL-HPN)，在统一的跨模态对齐框架内联合学习字符图像和 IDS 序列的全局与局部表征。全局分支支持高效的粗略召回，而局部分支通过 patch-token 交互提高组件级区分度。我们进一步引入结构过滤掩码，以抑制在局部相似性聚合中具有结构意义但在视觉上无实体的 IDS 算子。在此基础上，我们设计了从粗到细的层次推理策略，对全候选集执行全局检索，对 Top-K 候选者仅进行局部重排序，然后通过归一化后验得分的参数无乘法融合。实验结果表明，GL-HPN 在多个零样态分割上均达到竞争性能，尤其在低资源设置下表现突出，显著降低了大规模候选检索的推理成本。
引用
@article{arxiv.2605.08814,
title = {Zero-Shot Chinese Character Recognition via Global-Local Dual-Branch Alignment and Hierarchical Inference},
author = {Wei Cao and Hao Xu and Xiaolei Diao},
journal= {arXiv preprint arXiv:2605.08814},
year = {2026}
}
备注
9 pages