华中科大与地平线提出全连续多模态架构Multimodal Flow

华中科技大学王兴刚团队与地平线机器人等机构合作提出 Multimodal Flow 多模态架构，让语言和视觉各自保留连续嵌入空间、共享同一个 Flow Matching 目标，并开源代码。团队据此实例化主模型 MF-1，参数 1.6B，从零开始预训练，消耗 150B Tokens。 在同等数据、参数预算和优化配置的受控对比下，团队称 Multimodal Flow 在 GenEval、GQA、VQAv2、MMBench 等指标上全面超越 Transfusion 式混合架构和 Chameleon 式全离散架构。在相同训练预算下，SigLIP2 和 DINOv2 在生成和描述任务上整体表现更好，面向重建的 VAE 潜变量则落了下风。 实验显示，图生文任务的最佳 Guidance Scale 约在 3，文生图任务约在 5。

AI 根据报道生成 · 58 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。