通过改进的辅助分类器实现多任务微调与生成对抗学习

本研究实现了一种 novel BERT架构，用于对三个下游任务进行多任务微调：情感分类、改写检测和语义文本相似度预测。我们的模型Multitask BERT采用层级共享和三元组架构，包含自定义句子对标记化、损失配对和梯度手术。此类优化措施在测试数据上实现了0.516的情感分类准确率、0.886的改写检测准确率和0.864的语义文本相似度相关性。我们还将生成式对抗学习应用于BERT，构建一个从潜在空间映射到创建fake嵌入的条件生成器，这些fake嵌入在$\mathbb{R}^{768}$中。这些fake嵌入与真实BERT嵌入拼接后输入到判别器模型进行辅助分类。使用这一框架，我们称为AC-GAN-BERT，进行半监督灵敏度分析，以检验增加未标记训练数据量对AC-GAN-BERT测试准确率的影响。总体而言，除了实现高性能的多任务分类系统外，我们的创新点在于将对抗学习应用于构建能够模拟BERT的生成器。我们发现，条件生成器成功生成了具有清晰空间标签相关性的丰富嵌入，表明避免了模式坍缩。我们的发现验证了GAN-BERT方法，并指向生成器辅助知识蒸馏的未来方向。