ExpBERT：基于自然语言解释的表示工程
计算与语言
2020-05-06 v1 机器学习
机器学习
摘要
假设我们想为从文本中提取配偶对的任务指定归纳偏置，即已婚夫妇通常会去度蜜月。在本文中，我们允许模型开发者将这些类型的归纳偏置指定为自然语言解释。我们使用在 MultiNLI 上微调的 BERT 来“解释”这些关于输入句子的解释，从而生成解释引导的输入表示。在三个关系抽取任务中，我们的方法 ExpBERT 与 BERT 基线模型性能相当，但所需的标注数据减少了 3 到 20 倍，并且在相同标注数据量下，F1 分数比基线模型提高了 3 到 10 个点。
引用
@article{arxiv.2005.01932,
title = {ExpBERT: Representation Engineering with Natural Language Explanations},
author = {Shikhar Murty and Pang Wei Koh and Percy Liang},
journal= {arXiv preprint arXiv:2005.01932},
year = {2020}
}
备注
ACL 2020