通过自学习标签表示改进模型训练
机器学习
2022-09-13 v1
摘要
现代神经网络架构在若干大规模分类与预测任务中展现出显著成功。这些架构的部分成功源于其将原始输入表示（如视觉任务的像素或自然语言处理任务的文本）转换为独热输出编码的灵活性。尽管大量工作聚焦于研究输入如何转换为独热编码，极少有工作考察这些独热标签的有效性。本工作中，我们证明相比通常的独热编码，更复杂的标签表示更利于分类。我们提出带自适应标签的学习（LwAL）算法，其在训练分类任务的同时学习标签表示。这些学习到的标签可显著缩短训练时间（通常减少 50% 以上），同时常取得更好的测试准确率。我们的算法引入可忽略的额外参数且计算开销极小。除改进训练时间外，我们学习到的标签具有语义意义，并能揭示数据中可能存在的层次关系。
引用
@article{arxiv.2209.04528,
title = {Improving Model Training via Self-learned Label Representations},
author = {Xiao Yu and Nakul Verma},
journal= {arXiv preprint arXiv:2209.04528},
year = {2022}
}