基于设计条件提示与上下文的零样本实体与推文刻画
计算与语言
2022-04-19 v1 信息检索
摘要
从上一个十年的伊始，在线新闻与社交媒体已成为全球信息传播的事实媒介。然而，内容中的偏见与意图目的并未受到监管，管理偏见是内容消费者的责任。就此而言，理解新闻源对特定实体的立场与偏见变得重要。为解决此问题，我们使用预训练语言模型，其已被证明可在无任务特定训练或少量样本训练下带来良好结果。在本工作中，我们将命名实体与推文的刻画问题视为开放式文本分类与开放式事实探测问题。我们评估了生成式预训练Transformer 2 (GPT-2) 的零样本语言模型能力，借助受人类心理学启发和合乎逻辑的条件的缀词与上下文，对实体与推文进行主观刻画。首先，我们在足够大的新闻语料上微调GPT-2模型，并通过前缀激发来评估语料中热门实体的主观刻画。其次，我们用若干热门标签的推文语料微调GPT-2，并通过前缀、问题与上下文概要提示激发语言模型来评估推文刻画。实体刻画结果在各项度量与人工评估中均为正向。
引用
@article{arxiv.2204.08405,
title = {Zero-shot Entity and Tweet Characterization with Designed Conditional Prompts and Contexts},
author = {Sharath Srivatsa and Tushar Mohan and Kumari Neha and Nishchay Malakar and Ponnurangam Kumaraguru and Srinath Srinivasa},
journal= {arXiv preprint arXiv:2204.08405},
year = {2022}
}