分布式 NLI：学习预测语言推理中的人类意见分布

我们提出分布式 NLI，一项新的自然语言理解任务，旨在预测自然语言推理中人类判断的分布。我们表明，通过应用额外的分布估计方法，即蒙特卡洛（MC）Dropout、深度集成（Deep Ensemble）、重校准（Re-Calibration）和分布蒸馏（Distribution Distillation），模型比 softmax 基线能更有效地捕捉人类判断分布。我们表明，MC Dropout 无需任何分布标注即可取得不错表现，而 Re-Calibration 可利用额外分布标注进一步提升，这说明对单个样本进行多重标注在建模人类判断分布中的价值。尽管有这些改进，最佳结果仍远低于估计的人类上限，表明预测人类判断分布仍是一个开放的、具有挑战性的问题，且有很大改进空间。我们展示了 MC Dropout 与 Re-Calibration 的常见错误。最后，我们给出了在不同数据可用度下使用这些方法的指南，并鼓励未来对语言推理中的人类意见分布建模开展工作。我们的代码与数据公开于 https://github.com/easonnie/ChaosNLI。