EnSToM：基于熵比例引导向量的对话系统提升主题维护
计算与语言
2025-05-23 v1
摘要
小型大语言模型（sLLM）具有轻量高效的优势，适用于资源受限的环境。然而，sLLM在任务导向对话系统中常难以维持主题一致性，这在服务类聊天机器人等场景中至关重要。具体而言，必须确保模型拒绝偏离主题或恶意输入，遵循其预期功能，以防止潜在滥用并维护可靠性。针对此问题，现有激活工程方法在推理期间操纵内部激活。虽然这些方法在某些场景中有效，但我们的初步实验显示其在确保主题一致性方面存在局限。为此，我们提出一种新方法，即基于熵比例引导向量的主题维护（EnSToM）。EnSToM根据输入不确定性动态调整引导强度，使模型能够有效处理偏离主题的干扰，同时保持主题准确性。我们的实验表明，EnSToM在数据规模相对较小的情况下实现了显著的性能提升，优于微调方法。通过在不牺牲效率的前提下提高主题一致性，该方法为增强sLLM-based对话系统提供了稳健解决方案。
引用
@article{arxiv.2505.16526,
title = {EnSToM: Enhancing Dialogue Systems with Entropy-Scaled Steering Vectors for Topic Maintenance},
author = {Heejae Suh and Yejin Jeon and Deokhyung Kang and Taehee Park and Yejin Min and Gary Geunbae Lee},
journal= {arXiv preprint arXiv:2505.16526},
year = {2025}
}
备注
Accepted at ACL 2025 (Findings, long paper)