用于构建鲁棒多轮回复选择模型的评估数据集与策略

多轮回复选择模型最近在几个基准数据集上表现出与人类相当的性能。然而，在真实环境中，这些模型通常存在弱点，例如在没有全面理解上下文的情况下严重依赖表面模式做出错误预测。例如，这些模型经常给错误的回复候选者高分，该候选者包含几个与上下文相关的关键词，但使用了不一致的时态。在本研究中，我们分析了开放域韩语多轮回复选择模型的弱点，并发布了一个对抗数据集来评估这些弱点。我们还提出了一种在此对抗环境中构建鲁棒模型的策略。