TokenVerse++：基于动态任务激活的灵活多任务学习
计算与语言
2025-08-28 v1 音频与语音处理
摘要
基于 token 的多任务框架如 TokenVerse 需要所有训练语料都有所有任务的标签，限制了其利用部分标注数据集的能力并难以规模化。我们提出 TokenVerse++，在 XLSR-Transducer ASR 模型的声学嵌入空间中引入可学习向量，以实现动态任务激活。这一核心机制使模型能够在仅标注了部分任务的语料上进行训练，TokenVerse 的一个关键优势。我们通过成功集成一个仅为 ASR 和额外任务（语言识别）标注的语料库来演示了这一能力，显著提升整体性能。TokenVerse++ 在多个任务上取得与 TokenVerse 相当甚至更好的结果，建立了更实用的多任务替代方案，同时不牺牲 ASR 性能。
引用
@article{arxiv.2508.19856,
title = {TokenVerse++: Towards Flexible Multitask Learning with Dynamic Task Activation},
author = {Shashi Kumar and Srikanth Madikeri and Esaú Villatoro-Tello and Sergio Burdisso and Pradeep Rangappa and Andrés Carofilis and Petr Motlicek and Karthik Pandia and Shankar Venkatesan and Kadri Hacioğlu and Andreas Stolcke},
journal= {arXiv preprint arXiv:2508.19856},
year = {2025}
}
备注
Accepted to IEEE ASRU 2025. Copyright\copyright 2025 IEEE