量化神经机器翻译中上下文依赖的合理性

确定语言模型能否以人类合理的方式利用上下文信息，对于确保其在真实场景中的可信度十分重要。然而，模型生成何时以及哪些部分的上下文会产生影响这两个问题通常被分开处理，当前的合理性评估实际上局限于少数人工基准。为此，我们提出上下文依赖合理性评估（PECoRe），一个端到端可解释性框架，旨在量化语言模型生成中的上下文使用情况。我们的方法利用模型内部表征来（i）对比式地识别生成文本中对上下文敏感的目标词元，以及（ii）将它们与证明其预测的上下文线索相关联。我们使用 \pecore 来量化上下文感知机器翻译模型的合理性，在若干语篇级现象上将模型理据与人类标注进行比较。最后，我们将该方法应用于未标注的模型翻译，以识别上下文介导的预测，并突出生成过程中（不）合理上下文使用的实例。