沿任务难度、节奏与可视化轴分析情感分析中的课程学习
计算与语言
2021-03-04 v3
摘要
尽管课程学习(Curriculum Learning, CL)近期在自然语言处理任务中获得了关注，但其仍缺乏充分分析。先前工作仅展示了其有效性，却未能完整解释与解读其内部机理。在本文中，我们沿多个轴分析情感分析中的课程学习。其中部分轴由早期工作提出，尚需更深入的研究。此类分析需要理解课程学习在何处奏效、在何处失效。我们的分析轴包括课程学习的任务难度、课程节奏技术比较，以及通过可视化课程阶段推进时模型中注意力分数的运动进行定性分析。我们发现课程学习对困难任务效果最佳，而对于无课程学习时性能已较高的任务甚至可能导致性能下降。我们观察到单遍(One-Pass)课程策略存在灾难性遗忘以及课程节奏内的注意力运动可视化现象。这表明课程学习将具挑战性的主任务分解为依次解决的更简单子任务。
引用
@article{arxiv.2102.09990,
title = {Analyzing Curriculum Learning for Sentiment Analysis along Task Difficulty, Pacing and Visualization Axes},
author = {Anvesh Rao Vijjini and Kaveri Anuranjana and Radhika Mamidi},
journal= {arXiv preprint arXiv:2102.09990},
year = {2021}
}
备注
Accepted for presentation at WASSA 2021 at EACL