近日,字节跳动旗下Seed团队发布的最新研究论文,揭示了大语言模型在处理超长文本时出现性能波动的技术原因,直接点明了DeepSeek“抽风”的核心成因。该研究评估了基础版和后训练版的DeepSeek-V4-Flash和DeepSeek-V4-Pro,以及训练后的DeepSeek-V4.1-Flash。研究发现,模型采用分块KV缓存压缩虽能减少内存成本,但引入了“相位敏感性”这一新变量,导致模型在长上下文推理中出现周期性的性能漂移。所谓分块KV缓存压缩,是指模型以固定步幅将连续标记(Token)的窗口压缩为更少的缓存条目,从而减少长上下文推理时的内存和注意力成本。据IT之家报道,这种压缩方法引入