面向小样本预测的特征相似性交互式先验 elicitation

在“小 $n$、大 $p$”条件下的回归，即在学习数据集中样本量小 $n$ 和特征数量大 $p$ 的情况下，学习来自数据的学习是一个常见的设置，数据学习困难。通过关于特征在预测任务中的关系的先验知识，可以有效地减少 $p$ 的数量，但阐明此类先验知识对专家来说比较困难。本文我们引入一种新方法，用于从众多先验知识中提取特征相似性。关键思想是使用交互式多维标度（MDS）类型散点图显示特征，以从众处提取相似性关系，然后将所提取的关系用于预测参数的先验分布中。具体而言，对于使用贝叶斯线性回归进行预测的目标变量，特征关系用于构建用于回归系数的完全协方差矩阵的高斯先验。我们在使用模拟和真实用户对文本数据进行实验评估，确认了特征相似性的先验elicitation 可提高预测准确度。此外，与直接从特征列表中让用户选择特征对的elicitation 相比，交互式散点图显示的elicitation 效果更好。