分布偏移下彩票票假设子网络的评估
计算与语言
2019-10-29 v1 机器学习
摘要
彩票票假设认为，大型过参数化神经网络包含可独立训练以达到相似（或更高）测试精度的稀疏子网络。然而，所获稀疏子网络的初始化与泛化能力近来受到质疑。我们的工作聚焦于在分布偏移下评估稀疏子网络的初始化。具体地，我们研究在源域获得的稀疏子网络在相异目标域中独立重训练的程度。此外，我们考察了迁移时不同初始化策略的影响。实验表明，通过彩票票训练获得的稀疏子网络并非简单地过拟合于特定域，而是反映了深度神经网络的归纳偏置，可在多个域中加以利用。
引用
@article{arxiv.1910.12708,
title = {Evaluating Lottery Tickets Under Distributional Shifts},
author = {Shrey Desai and Hongyuan Zhan and Ahmed Aly},
journal= {arXiv preprint arXiv:1910.12708},
year = {2019}
}
备注
Accepted to EMNLP 2019 Workshop on Deep Learning for Low-Resource NLP