基于软标签链式条件随机场的短语定位
计算与语言
2019-09-04 v1
摘要
短语定位任务旨在将图像给定描述中的每个实体提及 grounding 到该图像中对应的区域。尽管同一描述中不同提及应如何被定位之间存在明显的依赖关系，先前旨在捕捉此类依赖的结构化预测方法需要借助近似推断或不可微损失。在本文中，我们将短语定位表述为一个序列标注任务，将候选区域视为潜在标签，并使用神经链式条件随机场（CRFs）为相邻提及的区域间依赖建模。与标准序列标注任务不同，短语定位任务的定义使得可能存在多个正确的候选区域。为解决金标签的这种多重性，我们定义了所谓的软标签链式 CRF（Soft-Label Chain CRF），并提出了一种支持便捷端到端训练的算法。我们的方法在 Flickr30k Entities 数据集上确立了短语定位的新 SOTA。分析表明，我们的模型既受益于 CRF 捕捉的实体依赖，也受益于软标签训练机制。我们的代码可在 \url{github.com/liujch1998/SoftLabelCCRF} 获取。
引用
@article{arxiv.1909.00301,
title = {Phrase Grounding by Soft-Label Chain Conditional Random Field},
author = {Jiacheng Liu and Julia Hockenmaier},
journal= {arXiv preprint arXiv:1909.00301},
year = {2019}
}
备注
11 pages, 5 figures, accepted by EMNLP-IJCNLP 2019