谱正则化：一种用于序列建模的归纳偏置
机器学习
2022-11-07 v1 人工智能
计算与语言
机器学习
摘要
学习任务中各种形式的正则化致力于实现不同的简洁性概念。本文提出一种谱正则化技术，其基于乔姆斯基层级中定义的直观简洁性概念，为序列建模附加了一种独特的归纳偏置。从汉克尔矩阵与正则文法之间的基本联系出发，我们提出使用汉克尔矩阵的迹范数（其秩的最紧凸松弛）作为谱正则化项。为应对汉克尔矩阵为双无限的事实，我们提出了一种针对其迹范数的无偏随机估计器。最后，我们在 Tomita 文法上展示了实验结果，表明了谱正则化的潜在益处并验证了所提出的随机估计器。
引用
@article{arxiv.2211.02255,
title = {Spectral Regularization: an Inductive Bias for Sequence Modeling},
author = {Kaiwen Hou and Guillaume Rabusseau},
journal= {arXiv preprint arXiv:2211.02255},
year = {2022}
}
备注
LearnAut paper in 2022 (https://learnaut22.github.io/programme.html#abstract-20)