论模型、数据与特征的联合交互
机器学习
2023-06-09 v1 机器学习
摘要
从数据中学习特征是深度学习的决定性特征之一，但我们对特征在深度学习中作用的理论理解仍很初步。为弥补此差距，我们引入一种新工具——交互张量，用于通过特征实证分析数据与模型之间的交互。借助交互张量，我们对特征在数据中的分布方式以及具有不同随机种子的模型如何学习不同特征做了若干关键观察。基于这些观察，我们提出了特征学习的概念框架。在该框架下，单一假设的期望准确率与一对假设的协商一致度均可以闭式推导。我们展示了所提框架能解释实证观察到的现象，包括最近发现的允许仅用无标签数据估计泛化误差的泛化不一致等式（GDE）。此外，我们的理论还显式构造了打破 GDE 的自然数据分布。因此，我们相信本工作为我们理解特征学习提供了宝贵的新见解。
引用
@article{arxiv.2306.04793,
title = {On the Joint Interaction of Models, Data, and Features},
author = {Yiding Jiang and Christina Baek and J. Zico Kolter},
journal= {arXiv preprint arXiv:2306.04793},
year = {2023}
}