复旦创智团队发布长上下文混合架构研究

复旦大学与上海创智学院 OpenMOSS 团队（邱锡鹏团队）发布论文《Mechanics of Long-Context Hybrid Models》，比较全注意力与滑窗注意力、GLA/GDN 线性注意力构成的混合架构在文本预训练阶段的长文表现。实验覆盖 376M、776M、1B、3B 四种规模，模型先以 4k 上下文短文预训练，再以 32k 长文续训，评测包括 PG19 PPL、LongPPL、RULER、BABILong 和 LongBench，并比较层混合（LH）与头混合（HH）两种方式。 团队称，在 RULER 的 NIAH-SK1 任务上，模型从 4k 训练长度外推到 64k，实现 16 倍免训练外推并保持 100% 准确率。该结果来自团队论文，尚待独立验证。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。