在序列到序列模型中强制编码器-解码器模块化
计算与语言
2019-11-12 v1 机器学习
摘要
受独立性、可互换性与接口清晰性等模块化软件设计原则启发，我们引入了一种在 seq2seq 模型中强制编码器-解码器模块化的方法，且不牺牲整体模型质量或其完全可微性。我们利用连接主义时序分类（CTC）损失将编码器输出单元离散化至预定义的可解释词表空间。我们的模块化系统在 300 小时 Switchboard 基准上达到接近 SOTA 的性能，在 SWB 与 CH 子集上词错率（WER）分别为 8.3% 与 17.6%，所使用的 seq2seq 模型具有独立且可互换的编码器与解码器模块。
引用
@article{arxiv.1911.03782,
title = {Enforcing Encoder-Decoder Modularity in Sequence-to-Sequence Models},
author = {Siddharth Dalmia and Abdelrahman Mohamed and Mike Lewis and Florian Metze and Luke Zettlemoyer},
journal= {arXiv preprint arXiv:1911.03782},
year = {2019}
}