复旦OpenMOSS团队发布长上下文混合架构机制研究

本文第一作者柳潇然，复旦大学、上海创智学院 2022 级硕博连读生，导师邱锡鹏、何子薇。研究方向为长上下文大语言模型，曾在 ICLR、ICML、AAAI、EMNLP 等国际顶级人工智能会议发表论文十余篇。 背景介绍 长上下文已经成为大语言模型重要的基础能力，但长上下文也给模型架构带来了一个现实问题：全注意力能够直接建模任意位置之间的关系，却带来随序列长度显著增长的计算和显存开销；滑窗注意力和线性注意力更加高效，但效果上都存在明显的不足。因此混合架构逐渐成为当前大语言模型设计的主流。 面对滑窗注意力和线性注意力两类固定计算与存储复杂度的高效方案，混合架构应该采取全注意力与哪种的混合呢？复旦创智邱锡鹏团队的最新工作混合架构的长文力学 Mechanics of Long-Context Hybrid Models 给出了一个有趣的答案：我全都要。 论文从混合位置的角度，系统比较了基于 RoPE/NoPE 全注意力、滑窗注意力（SWA），以及 GLA/GDN 等门控线性注意力的混合架构在长上下文任务中的表现，并进一步分析了不同注意力的协同机制。 Paper：https://arxiv.org/abs/2610.10114 GitHub：https://github.com/OpenMOSS/Hybrid-Mechanics 知乎：https://zhuanlan.zhihu.com/p/2092654065377457038 观察 研究团队在 376M、776M、1B 和 3B 四种规模上开展实验。模型先进行 4k 上下文的短文预训练，再进行 32k 上下文的长文续训；评测覆盖 PG19 PPL、LongPPL、RULER、BABILong 和 LongBench，包括短文训练下的长度外推表现和长文续训后的扩长训练表现，同时比较层混合（LH）与头混合（HH）两种方式。 论文首先给出的观察是：混合位置让混合架构具有更好的长文表现。RoPE、滑窗和门控线性注意力都带有显式或隐式的位置偏置，而 NoPE 注意力则不引入位置偏置。NoPE 与上述带位置偏置的注意力的混合，不仅可以增强长文训练的扩长表现，同时也可以实现即插即用的长度外推。 SWA/GLA/GDN-NoPE-LH 的长度外推表现 SWA/GLA/GDN-NoPE-LH 的长文续训表现 不过，不同混合架构仍然存在性能上的差异。短文预训练完成后，SWA-NoPE 混合通常展现出很强的长度外推能力。即使训练上下文长度只有 4k，模型也能在更长上下文上保持较好的表现。 但是，长度外推强，不代表扩长训练强。长文续训完成后，长文表现却发生了反转：SWA-NoPE 的表现被 GLA-NoPE 或 GDN-NoPE 超过，尤其是在层混模型中更加明显。 研究团队将这一现象称为滑窗混合扩长的跷跷板效应。与之对应，线性混合模型虽然在长文续训中的拟合能力更强，但不如滑窗混合模型擅长长度外推。这构成了另一个核心结论：线性混合没有免费午餐效应。 滑窗混合的扩长改进 研究团队进一步观察了长文续训前后的困惑度曲线和参数变化。对于 SWA-NoPE 层混模型，长文续训后短文位置的损失下降非常明显，但长文位置的损失改善有限。模型在训练中更倾向于学习滑窗注意力能够访问的局部信息，没有充分学会利用更远的上下文。 这被称为短上下文学习陷阱：滑窗分支得到了较多的训练优化，但固定窗口限制了它能建模的依赖范围，最终使长文训练过度关注短上下文。 深入观察可以发现，短窗口在短文预训练阶段更有利于长度外推；但在长文续训阶段，短窗口会限制模型学习长上下文依赖。论文将这两种趋势概括为短窗口疲惫与长窗口懒惰。 长文预训练中，SWA-NoPE-LH 的长文表现随窗口大小增加的变化趋势。更大的窗口具有更好的扩长训练表现，体现了短窗口疲惫 短文预训练中，SWA-NoPE-LH 的长文表现随窗口大小增加的变化趋势。更小的窗口具有更好的长度外推表现，体现了长窗口懒惰。 对此，论文通过增大滑窗窗口和结合 LongCE 损失，显著提升 SWA-NoPE/RoPE 层混模型的长文续训表现，在多个规模上接近甚至达到线性混合模型的水平。 SWA-NoPE-LH 的扩长训练改进结果 SWA-RoPE-LH 的扩长训练改进结果 线性混合的外推改进 线性注意力在长文续训中表现出较好的拟合能力，但外推到训练长度之外时，性能不如滑窗混合。研究团队从相对位置信息的角度重新审视了这一问题。GLA 和 GDN 虽然不使用传统 RoPE，但门控本身包含隐式的位置偏置。随着距离增加，状态更新中的门控会不断累积，在训练长度之外也可能出现分布变化。 基于这一猜想，论文提出滑窗线性注意力（Sliding-Window Linear Attention，SWLA）：在推理时对 GLA/

来源只提供摘要，完整内容请打开原文。