通过因果效应估计实现面向领域自适应的模型压缩
计算与语言
2021-08-12 v2 人工智能
摘要
自然语言处理系统预测质量的近期提升常依赖于模型参数数量的大幅增加。这引发了各种压缩此类模型的尝试，但现有方法未考虑各模型组件预测能力的差异或压缩模型泛化能力的不同。为理解模型压缩与分布外泛化之间的联系，我们定义了如下任务：压缩语言表示模型使其在领域自适应设定下表现最优。我们选择从因果视角解决该问题，试图估计模型组件（如单层）对模型预测的的平均处理效应（ATE）。我们提出的 ATE 引导模型压缩方案（AMoC）生成大量因移除组件而异的模型候选，随后通过利用 ATE 预测目标域预期表现的逐步回归模型选出最佳候选。在三个文本分类与序列标注任务的数十组领域对上，AMoC 优于强基线。
引用
@article{arxiv.2101.07086,
title = {Model Compression for Domain Adaptation through Causal Effect Estimation},
author = {Guy Rotman and Amir Feder and Roi Reichart},
journal= {arXiv preprint arXiv:2101.07086},
year = {2021}
}
备注
This is a pre-MIT Press publication version