面对不对称性——使用合成干预揭示面部对称性与表情分类器之间的因果关系

理解表情对于解读人类行为至关重要，目前，端到端训练的黑箱模型已实现高性能。由于这些模型的黑箱本质，清楚地了解它们在应用外分布情况时的行为方式尚不清楚。具体而言，这些模型在单侧面部麻痹患者身上的表现会下降。我们假设，面部对称性是指导内部决策规则的关键因素。本文运用因果推理的见解来检验这一假设。我们推导了结构因果模型，发展了一种合成干预框架。该方法允许我们在保持其他因素不变的同时，分析面部对称性如何影响网络的输出行为。我们调查了全部17个表情分类器，它们在对称性降低时显著降低了输出激活值。这一结果与在健康受试者和面部麻痹患者身上的观察行为相一致。因此，我们的调查作为识别影响黑箱模型行为的因果因素的案例研究。