中文

词语语义广度的准确且高效的统计检验方法

计算与语言 2026-05-11 v1

摘要

测量词语意义广度,即其在语境中的分布,已通过语境化标记嵌入实现。一个词类型可以表示为一个标记向量的云,基于离散的统计量可作为语境多样性的代理(Nagata和Tanaka-Ishii,ACL2025)。这些测量对于决定构建词典和特定领域词典时的合适的义项划分非常有用。然而,在比较两个词类型的广度时,对离散的简单假设检验可能误导性:语义方向的差异可能掩盖为离散差异,导致类型I错误膨胀,甚至在没有真实广度差异的情况下产生“统计显著”结果。这在应对小差异情境时,使显著性检验应区分真实效应与偶然波动方面具有问题。我们提出了基于Householder对齐置换检验,以隔离离散差异于方向差异。该方法对两个词类型的均值方向进行单次Householder反射对齐,然后对对齐后的标记云执行置换检验,产生已校准的、非参数p值。为实用性,我们引入了面向GPU的实现,对置换和线性代数运算进行批处理。实验表明,所述对齐将类型I错误降低了32.5%,同时保持对真实广度差异的灵敏度,并相对于CPU基准实现了23倍的加速。

关键词

引用

@article{arxiv.2605.08048,
  title  = {Accurate and Efficient Statistical Testing for Word Semantic Breadth},
  author = {Yo Ehara},
  journal= {arXiv preprint arXiv:2605.08048},
  year   = {2026}
}

备注

Accepted to ACL 2026 Main Conference