IDS在SemEval-2020任务10中：预训练语言模型知道强调什么吗？
计算与语言
2020-07-27 v1
摘要
我们提出一种新颖方法，仅依赖预训练语言模型（PLM）的自注意力分布信息，就能确定视觉媒体中书面文本中值得强调的词语。通过大量实验和分析，我们表明：1）我们的零样本方法优于采用TF-IDF的合理基线；2）PLM中存在若干专门用于强调选择的注意力头，证实PLM能够识别句子中的重要词语。
引用
@article{arxiv.2007.12390,
title = {IDS at SemEval-2020 Task 10: Does Pre-trained Language Model Know What to Emphasize?},
author = {Jaeyoul Shin and Taeuk Kim and Sang-goo Lee},
journal= {arXiv preprint arXiv:2007.12390},
year = {2020}
}