用于神经响应生成的双向策略集束搜索
计算与语言
2021-10-08 v1 人工智能
摘要
序列到序列神经网络已广泛应用于基于语言的任务中，因为它们具有学习各种语言模型的灵活能力。然而，当通过训练好的神经网络寻找最优语言响应时，当前现有方法（如集束搜索解码策略）仍无法达到理想的性能。我们未基于“常规句子顺序”神经网络（一种按从左到右顺序输出句子训练出的模型）开发各种解码策略，而是利用“逆序”作为额外的语言模型（一种按从右到左顺序输出句子训练出的模型），其可为路径寻找问题提供不同视角。本文中，我们提出通过结合两个网络（从左到右和从右到左语言模型）进行路径搜索的双向策略，使双向集束搜索成为可能。此外，我们的方案允许在句子选择准则中使用任意相似性度量。与单向集束搜索策略相比，我们的方法展现出更优性能。
引用
@article{arxiv.2110.03389,
title = {Beam Search with Bidirectional Strategies for Neural Response Generation},
author = {Pierre Colombo and Chouchang Yang and Giovanna Varni and Chloé Clavel},
journal= {arXiv preprint arXiv:2110.03389},
year = {2021}
}