基于影响函数解构间接情境学习
机器学习
2025-10-03 v3 人工智能
摘要
本文提出一种新的情境学习（ICL）通用范式，称为间接情境学习（Indirect ICL）。在间接 ICL 中，我们探讨了针对两种不同真实场景的演示选择策略：任务混合情境和噪声情境。我们系统评估了影响函数（IFs）作为这些设置下选择工具的有效性，突出了 IFs 捕捉演示池中示例信息性潜力的可能性。在任务混合情境设置下，演示来自 28 种多样化任务，包括 MMLU、BigBench、StrategyQA 和 CommonsenseQA。我们展示了将 BertScore-Recall（BSR）与 IF 代理模型结合可进一步提升性能，对于 3-shot 和 5-shot 设置分别带来 0.37% 和 1.45% 的平均绝对准确率提升。在噪声 ICL 情境中，我们检查演示可能被误标或存在对抗性噪声的场景。我们的实验表明，使用基于 IF 的选择器对传统 ICL 选择器（BSR 和余弦相似性）进行重加权，可在噪声 GLUE 数据集上将准确率分别提高 2.90% 和 2.94%。对于对抗子集，我们展示了使用 IFs 进行任务无关演示选择以缓解后门攻击的实用性。显示相对于任务感知方法，攻击成功率降低 32.89%。总之，我们提出了一个能够超越传统 ICL 的演示选择框架，为间接 ICL 提供了宝贵的洞见，阐述了 IFs 在间接 ICL 中的作用。
引用
@article{arxiv.2501.01473,
title = {Unraveling Indirect In-Context Learning Using Influence Functions},
author = {Hadi Askari and Shivanshu Gupta and Terry Tong and Fei Wang and Anshuman Chhabra and Muhao Chen},
journal= {arXiv preprint arXiv:2501.01473},
year = {2025}
}
备注
Under Review