IDANI：基于神经元级干预的推理时域适应
计算与语言
2022-06-02 v1 人工智能
机器学习
摘要
大型预训练模型通常在下游任务数据上微调，并在未见过的数据上测试。当训练与测试数据来自不同域时，模型很可能表现不佳，因为它未适应测试域。我们提出一种使用神经元级干预的域适应（DA）新方法：我们在特定神经元中修改每个测试样本的表示，得到模型更熟悉的源域反事实样本，然后将修改后的样本反馈回模型。大多数其他 DA 方法在训练时应用，而我们的仅在推理时应用，使其更高效且适用。我们的实验表明，该方法在未见过域上的性能有所提升。
引用
@article{arxiv.2206.00259,
title = {IDANI: Inference-time Domain Adaptation via Neuron-level Interventions},
author = {Omer Antverg and Eyal Ben-David and Yonatan Belinkov},
journal= {arXiv preprint arXiv:2206.00259},
year = {2022}
}
备注
Our code is available at https://github.com/technion-cs-nlp/idani