CommonsenseQA 上达到人类水平：以外部注意力增强自注意力
计算与语言
2022-05-06 v3 人工智能
机器学习
摘要
当今多数 AI 系统聚焦于在大量多样化数据上使用自注意力机制与 transformer 架构，以实现令人印象深刻的性能提升。本文中，我们提出以外部注意力机制增强 transformer 架构，从而引入外部知识与上下文。通过将外部信息整合进预测过程，我们希望减少对越来越大模型的需求，并增进 AI 系统的民主化。我们发现所提外部注意力机制能显著提升现有 AI 系统的性能，使实践者能轻松将基础 AI 模型定制到众多不同的下游应用。我们特别关注常识推理任务，证明所提外部注意力机制可增强现有 transformer 模型并显著提升模型的推理能力。所提系统——面向常识推理的知识型外部注意力（KEAR）——在开放 CommonsenseQA 研究基准上以 89.4% 的准确率达到了人类水平（对比人类准确率 88.9%）。
引用
@article{arxiv.2112.03254,
title = {Human Parity on CommonsenseQA: Augmenting Self-Attention with External Attention},
author = {Yichong Xu and Chenguang Zhu and Shuohang Wang and Siqi Sun and Hao Cheng and Xiaodong Liu and Jianfeng Gao and Pengcheng He and Michael Zeng and Xuedong Huang},
journal= {arXiv preprint arXiv:2112.03254},
year = {2022}
}
备注
8 pages, 1 figure, 7 tables