EM-Network：面向序列学习的预言机引导自蒸馏方法
机器学习
2023-06-21 v1 计算与语言
音频与语音处理
摘要
我们提出 EM-Network，一种新颖的自蒸馏方法，可有效利用目标信息用于有监督的序列到序列（seq2seq）学习。与传统方法不同，它使用源自目标序列的预言机引导进行训练。由于预言机引导紧凑地表示了可辅助序列模型解决任务的目标端上下文，EM-Network 相较于仅使用源输入取得了更好的预测效果。为使序列模型继承 EM-Network 的优异能力，我们提出一种新的自蒸馏策略，使原始序列模型能以单阶段方式从 EM-Network 的知识中获益。我们在两类 seq2seq 模型上进行了全面实验：用于语音识别的连接时序分类（CTC）和用于机器翻译的基于注意力的编码器-解码器（AED）。实验结果表明，EM-Network 显著推进了当前最优方法，在语音识别上优于此前最佳工作，并在 WMT'14 和 IWSLT'14 上确立了最优性能。
引用
@article{arxiv.2306.10058,
title = {EM-Network: Oracle Guided Self-distillation for Sequence Learning},
author = {Ji Won Yoon and Sunghwan Ahn and Hyeonseung Lee and Minchan Kim and Seok Min Kim and Nam Soo Kim},
journal= {arXiv preprint arXiv:2306.10058},
year = {2023}
}
备注
ICML 2023