严骏驰在CNCC 2026介绍JTok与xHC两项架构研究

上海交通大学教授严骏驰在 CNCC 2026 报告《大模型新架构探索：JTok & xHC》中介绍两项 Transformer 架构改进。JTok 为每个 token 配置可学习参数表，通过查表和逐元素运算调制前馈网络更新；xHC 将残差流扩展到十六路，采用稠密读取、稀疏写回以提高模型容量。 严骏驰称，在 MoE 实验中，底座与 JTok-M 的前沿在对数坐标下均呈强线性关系、斜率接近，JTok-M 前沿整体下移；训练端可节省算力，但其工程实现中推理延迟增加约 7%。在报告对应的规模定律实验中，达到相同损失，xHC 相对标准 Transformer 节省约 33% 训练算力，相对 mHC 节省约 16%；完成算子融合等优化后，相比 mHC 吞吐性能额外开销约 1.3%。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。