Cliqueformer：基于结构化Transformer的模型优化
机器学习
2026-03-20 v4 人工智能
摘要
大型神经网络在预测任务上表现出色，但它们在设计问题（如蛋白质工程或材料发现）上的应用需要解决离线模型优化（MBO）问题。虽然预测模型可能无法直接转化为有效的设计，但最近的MBO算法结合了强化学习和生成式建模方法。同时，理论工作表明，利用目标函数的结构可以提升MBO性能。我们提出了Cliqueformer，一种基于Transformer的架构，它通过函数图模型（FGM）学习黑箱函数的结构，无需依赖显式的保守方法即可解决分布偏移问题。在包括化学和遗传设计任务在内的多个领域，Cliqueformer与现有方法相比表现出更优越的性能。
引用
@article{arxiv.2410.13106,
title = {Cliqueformer: Model-Based Optimization with Structured Transformers},
author = {Jakub Grudzien Kuba and Pieter Abbeel and Sergey Levine},
journal= {arXiv preprint arXiv:2410.13106},
year = {2026}
}