重思考情感分类中属性的表示与注入

文本属性，如产品评论中的用户与产品信息，已被用于提升情感分类模型的性能。事实上的标准方法是将它们作为注意力机制中的额外偏置进行融入，并通过扩展模型架构获得更多性能增益。本文中，我们表明上述方法是表示和注入属性最低效的方式。为证明该假设，不同于先前具有复杂架构的模型，我们将基础模型限制为简单的带注意力的 BiLSTM 分类器，转而关注属性应在模型中如何及何处被融入。我们提出将属性表示为块级重要性权重矩阵，并考虑模型中四个位置（即嵌入、编码、注意力、分类器）来注入属性。实验表明，我们提出的方法相较标准方法取得显著改进，且注意力机制是注入属性最差的位置，与先前工作相矛盾。尽管我们使用简单基础模型，我们仍优于最先进的（SOTA）方法。最后，我们展示这些表示能很好地迁移到其他任务。模型实现与数据集发布于此：https://github.com/rktamplayo/CHIM。