我的老师认为地球是平的！解读自动作文评分机制

过去二十年中，基于深度学习的自动作文评分（AES）系统取得了显著进展。然而，很少研究去理解和解释这些基于深度学习的评分模型的黑盒性质。近期工作表明，自动评分系统甚至容易受到常识对抗样本的影响。它们缺乏自然语言理解能力，这引发了对被数百万考生用于改变人生决策的模型之质疑。由于评分是一项高度多模态的任务，评分模型必须在所有这些模态上得到验证和测试。我们利用可解释性的最新进展，探明连贯性、内容和相关性等特征对自动评分机制的重要程度，以及它们为何易受对抗样本影响。我们发现所测试的系统并不将作文视为具有自然语流和语法结构特征的散文，而是视为“词汤”，其中少数词比其他词重要得多。移除这些少数重要词周围的语境会使散文失去语流和语法，但对预测分数影响甚微。我们还发现，由于模型未以世界知识和常识进行语义 grounding，添加如“地球是平的”之类的错误事实反而使分数增加而非降低。