ExPT：面向少样本实验设计的合成预训练
机器学习
2023-11-01 v1 人工智能
摘要
实验设计是许多科学与工程领域中的基础问题。在该问题中，由于真实世界设计评估的时间、资金与安全成本，样本效率至关重要。现有方法要么依赖主动数据收集，要么需要访问过去实验的大型带标签数据集，这使得它们在许多真实场景中不切实际。本工作中，我们解决了更具挑战性但更现实的少样本实验设计设定，其中仅有少量输入设计及其对应值的带标签数据点可用。我们将该问题视为条件生成任务，其中模型以少量带标签样本与期望输出为条件来生成最优输入设计。为此，我们引入了Experiment Pretrained Transformers（ExPT），一种用于少样本实验设计的基础模型，其采用了合成预训练与上下文学习的新颖组合。在ExPT中，我们仅假设已知来自输入域的有限未标记数据点集合，并预训练一个Transformer神经网络以优化定义于该域上的多样合成函数。无监督预训练使ExPT能在测试时以上下文方式适配任意设计任务，即以目标任务的少量带标签数据点为条件并生成候选最优值。我们在具有挑战性的域上的少样本实验设计中评估了ExPT，并展示了其相较现有方法的优越通用性与性能。源代码可在 https://github.com/tung-nd/ExPT.git 获取。
引用
@article{arxiv.2310.19961,
title = {ExPT: Synthetic Pretraining for Few-Shot Experimental Design},
author = {Tung Nguyen and Sudhanshu Agrawal and Aditya Grover},
journal= {arXiv preprint arXiv:2310.19961},
year = {2023}
}
备注
2023 Conference on Neural Information Processing Systems (NeurIPS)