基于提示的生成式序列优化网络用于方面情感分析

最近，基于生成式预训练模型在方面情感分析(ABSA)任务上显示出显著的性能。然而，先前工作过于强调构建各种模板来 paraphrase 训练目标以增强解码，忽略了对生成模型内部优化。尽管这些以目标为导向的优化方法取得了显著结果，但它们在处理复杂长文本时存在困难，因为在生成模型的位置嵌入机制下，隐式的长程关系（例如方面-观点关系）难以提取。因此，本文首先阐明了问题的原因，介绍了两种序列优化策略：基于规则的静态优化和基于评分的动态优化。基于规则的方法依赖于依存关系的手工优先级来重新排序上下文，而基于评分的算法通过计算词位置分数来动态调节上下文序列。在动态优化结构的基础上，我们进一步提出了统一的基于提示的生成式序列优化网络（称为PGSO），该网络联合优化训练目标以及生成模型。具体而言，PGSO包含两个组件，即提示构建和序列调节器。前者基于无监督训练对象构建任务特定的提示，以充分利用预训练模型。后者联合利用语义、语法和原始序列信息来动态调节上下文序列。我们在多个基准测试上的四个ABSA任务进行的实验表明，PGSO超过了最先进的方法，F1分数平均提高了3.52%。