将认知处理信号集成到语言模型：进展、应用与未来方向综述
计算与语言
2025-11-25 v1 人工智能
摘要
最近，认知神经科学在自然语言处理 (NLP) 中的融合引起了广泛关注。本文提供了关于利用认知信号，特别是眼动 (ET) 信号，来增强语言模型 (LM) 和多模态大语言模型 (MLLM) 最新进展的批判性、时效性概述。通过融合用户导向的认知信号，这些方法解决了包括数据稀缺和大规模模型训练的环境成本等关键挑战。认知信号可实现高效数据增强、加快收敛速度并提高人类对齐水平。本文强调了 ET 数据在视觉问答 (VQA) 等任务中的潜力，以及缓解 MLLM 幻觉现象的可能性，并讨论了 emerging 挑战和研究趋势。
引用
@article{arxiv.2504.06843,
title = {Integrating Cognitive Processing Signals into Language Models: A Review of Advances, Applications and Future Directions},
author = {Angela Lopez-Cardona and Sebastian Idesis and Ioannis Arapakis},
journal= {arXiv preprint arXiv:2504.06843},
year = {2025}
}