You Only Forward Once：单次前向传播中的预测与合理化

无监督理由提取旨在无需任何标注理由的情况下，提取简洁且连续的文本片段以支持模型预测。先前研究使用了一种称为合理化神经预测（RNP）框架的两阶段框架，遵循先生成后预测的范式。它们假设所提取的称为理由的解释应足以预测黄金标签。然而，上述假设偏离原始定义且过于严格而难以表现良好。此外，这些两阶段模型存在 interlocking 问题与伪相关。为解决上述问题，我们提出一种称为 You Only Forward Once（YOFO）的新型单阶段框架，其源于理由的放宽版本，其中理由旨在支持模型预测而非进行预测。在我们的框架中，部署如BERT之类的预训练语言模型，同时执行预测与合理化，受 interlocking 或伪相关的影响更小。以无监督方式直接选择重要词元不可行。YOFO不直接选择重要词元，而是在前向传播过程中逐步移除不重要的词元。通过在BeerAdvocate与Hotel Review数据集上的实验，我们证明相比基于RNP的模型，我们的模型能更准确地提取理由并做出预测。我们观察到词元级F1相较先前最先进方法提升高达18.4%。我们还进行分析与实验以探究提取的理由与词元衰减策略。结果表明YOFO能在模型中间部分移除不重要词元的同时，提取精确且重要的理由。