回到未来：基于无监督反向传播解码的溯因与反事实常识推理

溯因与反事实推理作为日常人类认知的核心能力，需要在时间 t 可能发生之事上进行推理，同时以来自相对过去与未来的多个上下文为条件。然而，使用生成式语言模型（LM）同时纳入过去与未来上下文可能具有挑战性，因为它们要么仅被训练为以过去上下文为条件，要么执行范围狭窄的文本填充。本文中，我们提出 DeLorean，一种全新的无监督解码算法，可仅利用现成的从左至右语言模型且无监督地灵活纳入过去与未来上下文。我们算法的关键直觉是通过反向传播纳入未来，在此过程中，我们仅更新输出的内部表示而固定模型参数。通过交替进行前向与反向传播，DeLorean 可解码出同时反映左、右上下文的输出表示。我们证明我们的方法具有通用性，可应用于两项非单调推理任务：溯因文本生成与反事实故事修改，其中 DeLorean 基于自动与人工评估优于一系列无监督及部分有监督方法。