双向束搜索：用于填空式图像描述的神经序列模型中的前向-后向推断
计算机视觉与模式识别
2017-05-25 v1
摘要
我们通过将 Beam Search (BS) 扩展为对前向和后向时间依赖性进行推理，开发了首个用于双向神经序列模型中 1-Best（和 M-Best）解码的近似推断算法。Beam Search (BS) 是一种广泛使用的近似推断算法，用于从单向神经序列模型中解码序列。有趣的是，尽管双向模型在建模来自过去和未来的信息方面具有显著优势，但双向模型中的近似推断仍然是一个开放问题。为了能够使用双向模型，我们提出了 Bidirectional Beam Search (BiBS)，一种用于近似双向推断的高效算法。为了评估我们的方法，并作为一个本身有趣的问题，我们引入了一个新颖的 Fill-in-the-Blank Image Captioning 任务，该任务需要对过去和未来的句子结构进行推理，以重建合理的图像描述。我们使用此任务以及 Visual Madlibs 数据集来证明我们方法的有效性，在表现上持续超越所有基线方法。
引用
@article{arxiv.1705.08759,
title = {Bidirectional Beam Search: Forward-Backward Inference in Neural Sequence Models for Fill-in-the-Blank Image Captioning},
author = {Qing Sun and Stefan Lee and Dhruv Batra},
journal= {arXiv preprint arXiv:1705.08759},
year = {2017}
}