优于 BERT 却逊于基线

Boxiang Liu; Jiaji Huang; Xingyu Cai; Kenneth Church

优于 BERT 却逊于基线

计算与语言 2021-05-14 v1 机器学习

作者: Boxiang Liu , Jiaji Huang , Xingyu Cai , Kenneth Church

摘要

本文在缩写定义识别（ADI）任务上比较 BERT-SQuAD 与 Ab3P。ADI 输入一段文本并输出短形式（缩写/首字母缩略词）与长形式（展开式）。带重排序的 BERT 优于不带重排序的 BERT，但未能达到基于规则的 Ab3P 基线。BERT 缺失了什么？重排序引入了两个新特征：charmatch 与 freq。第一个特征识别利用缩写中字符约束的机会，第二个特征识别利用跨文档频率约束的机会。

关键词

BERT 缩写定义识别重排序基于规则的基线 charmatch freq

引用

@article{arxiv.2105.05915,
  title  = {Better than BERT but Worse than Baseline},
  author = {Boxiang Liu and Jiaji Huang and Xingyu Cai and Kenneth Church},
  journal= {arXiv preprint arXiv:2105.05915},
  year   = {2021}
}

备注

6 pages, 2 figures, 5 tables

相关论文

查看更多相关论文 →