利用记忆增强条件随机场捕获长距离上下文依赖
计算与语言
2017-10-13 v2
摘要
尽管条件随机场（“CRFs”）在广泛的 NLP 任务中应用成功，尤其是线性链变体，但只能建模局部特征。虽然这在推断可处理性方面有重要优势，却限制了模型捕获条目间长距离依赖的能力。扩展 CRF 以捕获长距离依赖的尝试大多以计算复杂度和近似推断为代价。本工作中，我们通过集成外部记忆（受记忆网络启发）提出对 CRF 的扩展，从而使 CRF 能够整合远超出相邻步骤的信息。两项任务的实验显示相比强大的 CRF 和 LSTM 基线有实质性改进。
引用
@article{arxiv.1709.03637,
title = {Capturing Long-range Contextual Dependencies with Memory-enhanced Conditional Random Fields},
author = {Fei Liu and Timothy Baldwin and Trevor Cohn},
journal= {arXiv preprint arXiv:1709.03637},
year = {2017}
}
备注
Accepted to IJCNLP 2017 (camera-ready)