BERTVision——一种面向问答的参数高效方法
计算与语言
2022-02-25 v1 机器学习
摘要
我们提出一种高度参数高效的问答方法，显著减少了对 BERT 长时间微调的需求。我们的方法利用了在典型 BERT 推理中被丢弃的每一层 BERT transformer 的隐藏状态激活信息。我们的最佳模型以极短的训练时间及极少的 GPU 或 TPU 开销达到了 BERT 的最高性能。通过将我们的模型与 BERT 的预测集成，性能得到进一步提升。此外，我们发现使用更少的训练数据即可实现接近最优的 QA 跨度标注性能。我们的实验表明，该方法不仅适用于跨度标注，也适用于分类，暗示其可扩展至更广的任务范围。
引用
@article{arxiv.2202.12210,
title = {BERTVision -- A Parameter-Efficient Approach for Question Answering},
author = {Siduo Jiang and Cristopher Benge and William Casey King},
journal= {arXiv preprint arXiv:2202.12210},
year = {2022}
}
备注
7 pages, 11 with appendix