通过因果中介分析测试预训练语言模型对分配性的理解
计算与语言
2022-10-20 v2 人工智能
摘要
预训练语言模型在多大程度上掌握了有关分配性现象的语义知识？本文引入DistNLI，一个针对由分配性引起的语义差异的自然语言推理诊断数据集，并采用因果中介分析框架来量化模型行为并探索该语义相关任务下的潜在机制。我们发现，模型理解的程度与模型规模和词表规模相关。我们也提供了关于模型如何编码此类高层语义知识的见解。
引用
@article{arxiv.2209.04761,
title = {Testing Pre-trained Language Models' Understanding of Distributivity via Causal Mediation Analysis},
author = {Pangbo Ban and Yifan Jiang and Tianran Liu and Shane Steinert-Threlkeld},
journal= {arXiv preprint arXiv:2209.04761},
year = {2022}
}
备注
Accepted at BlackboxNLP 2022