高效的样本特定编码器扰动
计算与语言
2024-05-06 v1 机器学习
摘要
编码器-解码器基础模型在各种自回归序列任务上显示出领先性能。本文提出了一种简单且轻量级的修改方法，用于控制特定感兴趣属性下的系统行为。具体而言，我们展示了如何使用小型代理网络，对冻结的基础模型的编码器输出进行逐样本扰动，以触发解码器生成更好的解码。本工作聚焦于改进 Flan-T5 在机器翻译上的 COMET 性能以及 Whisper 基础模型在语音识别上的 WER。结果在通过 COMET 和 WER 评估后显示出一致的性能提升。此外，实验还表明，代理网络对训练它们的数据本质具有鲁棒性，并且可以扩展到其他领域。
引用
@article{arxiv.2405.01601,
title = {Efficient Sample-Specific Encoder Perturbations},
author = {Yassir Fathullah and Mark J. F. Gales},
journal= {arXiv preprint arXiv:2405.01601},
year = {2024}
}
备注
To appear in NAACL 2024