不确定性感知的不可能学习改进生成式方面情感四元组预测
计算与语言
2023-06-06 v2 人工智能
摘要
近年来，方面情感四元组预测在基于方面的情感分析领域受到广泛关注。现有研究通过预训练生成式语言模型将原始句子改写为模板化目标序列以抽取四元组。然而，以往工作仅关注生成什么而忽略不生成什么。我们认为考虑负样本亦带来潜在收益。本工作中，我们提出一种模板无关的方法来控制词元级生成，在增强原有学习的同时减少错误。具体而言，我们引入蒙特卡洛 dropout 来理解预训练语言模型的内置不确定性，获取噪声与错误。我们进一步提出边缘化不可能学习以抑制不确定性感知的错误词元。最后，我们引入最小化熵来平衡边缘化不可能学习的影响。在四个公开数据集上的大量实验证明了我们的方法在各种生成模板上的有效性。
引用
@article{arxiv.2306.00418,
title = {Uncertainty-Aware Unlikelihood Learning Improves Generative Aspect Sentiment Quad Prediction},
author = {Mengting Hu and Yinhao Bai and Yike Wu and Zhen Zhang and Liqi Zhang and Hang Gao and Shiwan Zhao and Minlie Huang},
journal= {arXiv preprint arXiv:2306.00418},
year = {2023}
}
备注
Accepted by ACL Findings (2023)