基于注意力的序列到序列模型的少样本学习
计算与语言
2019-03-25 v2
摘要
端到端方法近来作为简化语音识别系统训练与部署的手段而流行。然而，它们常需要大量数据以在大规模词汇任务上表现良好。为使更广泛的研者能够使用端到端方法，我们探索在小词汇量语境下使用端到端方法的潜力，此类语境可使用较小数据集。小词汇量系统的一个显著缺陷是难以将词汇表扩展到原始训练样本之外——因此我们亦研究仅以每新类极少示例（少样本学习）扩展词汇表的策略。我们的结果表明，基于注意力的编码器-解码器在小词汇量关键词分类任务上可媲美强基线，在 Tensorflow 的 Speech Commands 数据集上达到 97.5% 准确率。它在少样本学习问题上也展现出有前景的结果：仅以每新类 10 个示例，简单策略在新关键词上达到 68.8% 准确率；当示例集增至 100 个时，该值升至 88.4%。
引用
@article{arxiv.1811.03519,
title = {Few-shot learning with attention-based sequence-to-sequence models},
author = {Bertrand Higy and Peter Bell},
journal= {arXiv preprint arXiv:1811.03519},
year = {2019}
}