超越演示：从潜在表示构建动态向量
计算与语言
2025-10-13 v2 人工智能
摘要
上下文衍生向量（ICV）方法从大型语言模型（LLM）中提取与任务相关的表示，并在推理期间重新注入它们，在不重复处理演示的情况下实现了与少样本上下文学习（ICL）相当的性能。然而，现有的 ICV 方法仍然对 ICL 特定因素敏感，通常使用粗粒度或语义碎片化的表示作为向量的来源，并依赖基于启发式的注入位置，限制了其适用性。为了解决这些问题，我们提出了动态向量，该方法结合了穷举查询旋转策略，通过减轻 ICL 引入的方差来提取鲁棒的语义聚合潜在表示。然后，它应用动态潜在分割与注入，根据任务复杂度自适应地划分表示，并利用基于 REINFORCE 的优化来学习每个片段的最佳注入位置。实验结果表明，DyVec 优于少样本 ICL、LoRA 和先前的 ICV 基线。进一步的分析突出了动态分割和注入语义聚合潜在表示的有效性。DyVec 为推理时任务适应提供了一种轻量级且数据高效的解决方案。
引用
@article{arxiv.2505.20318,
title = {Beyond Demonstrations: Dynamic Vector Construction from Latent Representations},
author = {Wang Cai and Hsiu-Yuan Huang and Zhixiang Wang and Yunfang Wu},
journal= {arXiv preprint arXiv:2505.20318},
year = {2025}
}
备注
9 pages, 4 figures. Accepted to EMNLP 2025 (Main Conference)