用于单标签与多标签序列建模的因子化隐动态条件随机场
机器学习
2019-11-13 v2 信号处理
机器学习
摘要
条件随机场(CRF)常用于序列数据的标注与分割。Morency 等人(2007)在带标签的 CRF 结构中引入隐状态变量以建模类标签内的潜在动态,从而提升标注性能。此类模型被称为隐动态 CRF (LDCRF)。我们提出因子化 LDCRF (FLDCRF),一种允许多个类标签的潜在动态相互交互的结构。引入此类隐动态交互可在单标签和多标签序列建模任务上提升标注性能。我们将 FLDCRF 模型应用于两个单标签(嵌套交叉验证)和一个多标签序列标注(嵌套交叉验证)实验,涵盖两个不同数据集——UCI 手势相位数据和 UCI 机会数据。FLDCRF 在所有实验中均优于所有最先进的序列模型,即 CRF、LDCRF、LSTM、LSTM-CRF、因子化 CRF、耦合 CRF 和一个多标签 LSTM 模型。此外,LSTM 基模型在验证和测试数据上表现出不一致的性能,并在实验中给基于验证数据选择模型带来困难。FLDCRF 提供更简便的模型选择、验证与测试性能间的一致性以及清晰的模型直觉。FLDCRF 训练也比 LSTM 快得多,即便无 GPU。FLDCRF 在 UCI 手势相位数据的单标签任务上超越最佳 LSTM 模型约 4%,并在 UCI 机会数据的多标签序列标注实验的嵌套交叉验证测试集上平均超越 LSTM 性能约 2%。FLDCRF 的思想可扩展至联合(多智能体交互)和异构(离散与连续)状态空间模型。
引用
@article{arxiv.1911.03667,
title = {Factored Latent-Dynamic Conditional Random Fields for Single and Multi-label Sequence Modeling},
author = {Satyajit Neogi and Justin Dauwels},
journal= {arXiv preprint arXiv:1911.03667},
year = {2019}
}
备注
To be submitted to Journal of Machine Learning Research (JMLR)