发展性 BERTology 的奇特案例：关于稀疏性、迁移学习、泛化与大脑
计算与语言
2020-07-09 v1 机器学习
神经元与认知
机器学习
摘要
在这篇评论中，我们通过大语言模型、迁移学习和网络压缩的视角，探索深度学习与神经科学的交叉点。正如感知与认知神经生理学启发了有效的深度神经网络架构，而这些架构反过来又成为理解大脑的有益模型，在此我们探讨生物神经发育如何启发高效且鲁棒的优化过程，而这些过程反过来又可作为大脑成熟与衰老的有益模型。
引用
@article{arxiv.2007.03774,
title = {The curious case of developmental BERTology: On sparsity, transfer learning, generalization and the brain},
author = {Xin Wang},
journal= {arXiv preprint arXiv:2007.03774},
year = {2020}
}
备注
9 pages, 5 figures, 1 table