Can Transformer Memory Be Corrupted? Investigating Cache-Side Vulnerabilities in Large Language M...

文章核心总结与翻译

一、主要内容总结

该研究聚焦大型语言模型（LLMs）中被忽视的KV缓存安全漏洞，提出了恶意令牌注入（MTI）攻击框架MTI V.1，系统探究缓存侧攻击对模型推理的影响，具体内容如下：

1. 漏洞定位：KV缓存作为Transformer模型加速 autoregressive 解码的关键组件，此前未被视为主要攻击面，但其存储的中间注意力状态可被篡改，且无需修改模型参数或输入提示。
2. 攻击框架设计：MTI V.1通过三种核心扰动方式（加性高斯噪声、零值化、正交旋转），在指定层和时间步对缓存的key向量进行可控扰动，可调节扰动幅度、频率和作用层位，还支持自适应扰动优化以最大化攻击效果。
3. 理论分析：推导了扰动传播的数学边界，证明logit偏差与扰动的Frobenius范数和查询向量规模相关，且注意力分布变化通过softmax的Lipschitz特性与logit变化挂钩。
4. 实证验证：在GPT-2、LLaMA-2/7B、Gemma等模型及SST-2、SQuAD、HotpotQA等基准测试中，MTI V.1使下游任务性能下降15%-30%；在检索增强生成（RAG）系统中放大幻觉率，在多步智能体推理中破坏任务规划，但智能体框架因外部反馈机制表现出更强韧性。
5. 防御评估：缓存重置、dropout掩码随机化、注意力平滑等轻量级防御策略可在不显著增加开销的情况下保留基线准确率，但无法完全抵消攻击影响。