面向序列学习的时序相关任务调度
计算与语言
2021-07-05 v2
摘要
近年来，序列学习吸引了机器学习界的诸多研究关注。在许多应用中，一个序列学习任务通常关联多个时序相关的辅助任务，这些任务在所用输入信息的多少或所预测未来步数上有所不同。例如，(i) 在同声机器翻译中，人们可在不同延迟下（即翻译前读取/等待多少输入词）进行翻译；(ii) 在股票趋势预测中，人们可预测某股票在不同未来日期（如明天、后天）的价格。尽管这些时序相关任务能相互助益已显而易见，但如何更好地利用多个辅助任务来提升主任务性能的研究仍十分有限。本工作中，我们向序列学习引入一个可学习的调度器，其可根据模型状态与当前训练数据自适应地选择辅助任务进行训练。调度器与主任务模型通过双层优化联合训练。实验表明，我们的方法显著提升了同声机器翻译与股票趋势预测的性能。
引用
@article{arxiv.2007.05290,
title = {Temporally Correlated Task Scheduling for Sequence Learning},
author = {Xueqing Wu and Lewen Wang and Yingce Xia and Weiqing Liu and Lijun Wu and Shufang Xie and Tao Qin and Tie-Yan Liu},
journal= {arXiv preprint arXiv:2007.05290},
year = {2021}
}
备注
Accepted to ICML 2021