面向远距离标签交互的规律模式敏感 CRFs
机器学习
2025-06-17 v2 计算与语言
摘要
尽管 LLMs 在序列标注中越来越受欢迎，但线性链条件随机场仍是一种流行的替代方案，能够直接对标签间的交互进行建模。然而，马尔可夫假设将它们限制在只能直接对相邻标签间的交互进行建模。相比之下，加权有限状态转换器可以对远距离的标签-标签交互进行建模，但通常情况下精确的标签推断是难以处理的。在这项工作中，我们提出了规律模式敏感 CRFs（RPCRFs），这是一种通过用户指定的模式来丰富标准线性链 CRFs 学习远距离标签交互能力的方法。这种方法允许用户编写正则表达式标签模式，简明地指定模型应考虑哪些类型的交互，使模型能够从数据中学习这些模式是否发生以及在何种上下文中发生。其结果可以交替解释为增加了非局部势能的 CRF，或者结构由一组易于解释的模式定义的有限状态转换器。至关重要的是，对于许多模式集合，精确的训练和推断是易于处理的。我们详细介绍了如何从一组用户指定的模式自动构建 RPCRF，并在三个合成的序列建模数据集上展示了该模型的有效性。
引用
@article{arxiv.2411.12484,
title = {Regular-pattern-sensitive CRFs for Distant Label Interactions},
author = {Sean Papay and Roman Klinger and Sebastian Pado},
journal= {arXiv preprint arXiv:2411.12484},
year = {2025}
}