AutoRC：通过架构搜索改进基于 BERT 的关系分类模型
计算与语言
2020-09-29 v2
摘要
尽管基于 BERT 的关系分类（RC）模型相较传统深度学习模型取得了显著改进，但关于何为最优架构似乎尚未达成共识。首先，实体跨度识别存在多种备选方案。其次，有一系列池化操作可将实体与上下文的表示聚合成定长向量。第三，难以人工决定哪些特征向量（包括其交互）有益于关系类型分类。本工作中，我们为基于 BERT 的 RC 模型设计了一个全面的搜索空间，并采用神经架构搜索（NAS）方法自动发现上述设计选择。在七个基准 RC 任务上的实验表明，我们的方法能高效且有效地找到优于基线基于 BERT 的 RC 模型的架构。消融研究证明了我们搜索空间设计的必要性与搜索方法的有效性。
引用
@article{arxiv.2009.10680,
title = {AutoRC: Improving BERT Based Relation Classification Models via Architecture Search},
author = {Wei Zhu and Xipeng Qiu and Yuan Ni and Guotong Xie},
journal= {arXiv preprint arXiv:2009.10680},
year = {2020}
}