增强可信度变换器的上下文学习
机器学习
2026-01-15 v2 应用统计
摘要
我们网络架构的起点是可信度变换器，它通过可信度机制扩展了经典的变换器架构，以改进模型学习和预测性能。该可信度变换器学习可信化 CLS 令牌，作为原始输入特征的学习表示。在本文中，我们提出了一种新范式，通过上下文学习机制增强该架构，即我们通过由相似实例组成的上下文批次来增加信息集。这使得模型能够通过额外的上下文信息和微调来增强实例的 CLS 令牌表示。我们从经验上验证了这种上下文学习通过适应相似风险模式来提高预测准确性。此外，这种上下文学习还使模型能够泛化到新实例，例如，实例在模型训练时未出现过的分类协变量中具有特征级别——相关例子可以想想汽车制造商刚刚开发的新车型。
引用
@article{arxiv.2509.08122,
title = {In-Context Learning Enhanced Credibility Transformer},
author = {Kishan Padayachy and Ronald Richman and Salvatore Scognamiglio and Mario V. Wüthrich},
journal= {arXiv preprint arXiv:2509.08122},
year = {2026}
}