编码器-解码器模型的秩一编辑
计算与语言
2022-11-28 v1 人工智能
摘要
用于神经机器翻译（NMT）等任务的大型序列到序列模型通常在数亿样本上训练。然而，训练仅仅是模型生命周期的起点。模型的实际部署需要随着新需求的出现或缺陷的暴露而进行进一步的行为适配。通常，在模型行为空间中，行为删除请求通过模型重训练来解决，而行为添加请求则通过模型微调来完成，这两种过程都是基于数据的模型干预实例。在这项工作中，我们提出一项初步研究，探讨将秩一编辑作为编码器-解码器 transformer 模型中针对行为删除请求的直接干预方法。我们为 NMT 提出了四项编辑任务，并表明所提出的编辑算法在仅需单个正例来修正错误（负向）模型行为的情况下，实现了高效性。
引用
@article{arxiv.2211.13317,
title = {Rank-One Editing of Encoder-Decoder Models},
author = {Vikas Raunak and Arul Menezes},
journal= {arXiv preprint arXiv:2211.13317},
year = {2022}
}
备注
The Second Workshop On Interactive Learning For Natural Language Processing (InterNLP 2022), NeurIPS 2022