SentimentArcs:一种用于时间序列情感分析的自监督新方法表明 SOTA Transformer 难以发现叙事弧
计算与语言
2021-10-19 v1 机器学习
摘要
SOTA Transformer 和 DNN 短文本情感分类器在 IMDB 电影评论等狭窄领域上报告了超过 97% 的准确率。然而,由于传统模型对基准测试过拟合,且对不同或更开放领域文本的泛化能力较差,其在真实世界中的性能显著降低。本文提出了 SentimentArcs,一种新的自监督时间序列情感分析方法,解决了传统监督情感分析的两个主要局限性:标注训练数据集有限和泛化能力差。由多种模型组成的大型集成模型为自监督学习提供了合成真实标签。新颖的指标联合优化了对每一种可能的语料库:模型组合的穷举搜索。对语料库和模型的联合优化解决了泛化问题。简单的可视化利用了叙事中的时间结构,使领域专家能够快速发现数百条弧线和数百万个数据点上的趋势、识别关键特征并注意到异常情况。据我们所知,这是第一个用于时间序列情感分析的自监督方法,也是直接比较长篇叙事上真实世界模型性能的最大规模调查。
引用
@article{arxiv.2110.09454,
title = {SentimentArcs: A Novel Method for Self-Supervised Sentiment Analysis of Time Series Shows SOTA Transformers Can Struggle Finding Narrative Arcs},
author = {Jon Chun},
journal= {arXiv preprint arXiv:2110.09454},
year = {2021}
}
备注
87 pages, 97 figures