对话北大袁粒：Open-Sora Plan 与 AI 热潮下高校该做什么研究

2024 年，袁粒和团队决定发起 Open-Sora Plan，试着把 Sora 展示的视频生成能力做成一个开放的研究项目。摆在这个大学团队面前的困难很现实：训练模型需要大量数据和算力，即使后来有企业参与、提供支持，他们能调动的资源，与头部公司内部做视频模型的投入仍然有很大差距。 袁粒对这个项目的期待，并不以追上 Sora 的效果为前提。他希望先把架构搭起来，把代码和训练方法公开，让企业能够接着开发，也让学生有机会在上面验证自己的想法。“哪怕这个模型没训出来，我们先把架构开出来。”在他看来，把试错中的经验也写进技术报告，后来的人就能少花一些重复摸索的时间。一个高校团队的工作做到这里，已经可以为其他研究提供起点。 2017 年，袁粒到新加坡国立大学读博，其间曾赴哈佛大学参与视觉神经科学研究。2021 年，他与合作者提出 T2T-ViT，探索如何提高视觉 Transformer 在有限训练数据下的学习效率，随后加入北京大学。目前，袁粒是北京大学助理教授，研究涉及研究涉及以视觉为中心的多模态算法与架构，以及 AI for Science，以及 AI for Science。 项目各有侧重，聊起来，袁粒总会回到那些还没解决的问题。视频已经能生成得很逼真，模型却未必能解释画面里的运动；科研智能体完成了一次任务，遇到参数修改、结果复用和环境变化，又可能无法继续。 这也让“大学还能做什么”有了具体的落点。资源有限，高校团队仍然可以找出现有方法的局限，尝试新的架构，再通过开源让更多人参与验证。一项工作暂时没有做完，也可以先为后来的研究提供起点。袁粒把它比作一段共同走过的路：到终点的十米，也许由某个团队或拥有资源的企业冲过去，前面九十米的探索，同样有意义。 以下为 DeepTech 和袁粒的对话。 没跑通的那个念头 DeepTech：你的研究从计算机视觉延伸到多模态和 AI for Science。回头看，你会怎样概括其中的主线？这条路线是一开始就规划好的吗？ 袁粒：我希望让机器形成可以检验的世界理解，再把这种理解转化成预测和生成。简单说，就是先理解世界，再去预测、生成世界，下一步看能不能把这些能力转化成行动。行动这一步还需要时间，但我们也在往这个方向走。 这条主线是在研究中慢慢形成的。很多宏大的规划，在实际执行过程中都会发生偏移。最开始做计算机视觉，是希望模型能理解视觉信息。等一些问题推进到一定程度，又会发现：怎么检验它是不是真的理解了？生成就让这种理解面对了更具体的检验，后来的问题也是这样一步步出现的。 DeepTech：2018 年，你就尝试过把 Transformer 用到视觉，后来却没能跑通。当时为什么会想到做这件事？ 袁粒：我 2017 年开始读博，2018 年 BERT 和第一代 GPT 出来时，就在想：它们的底层都是 Transformer，既然在自然语言处理里这么有效，能不能也用来处理视觉？ 我的研究一直受到大脑的启发。视觉、语言有各自的功能，但我们希望找到一种架构，能够处理不同模态的信息。当时也有两种尝试，一种是把视觉领域的卷积用到语言，另一种是把语言领域的 Transformer 用到视觉。我做了后一种尝试。不过，学校实验室的算力和数据有限，前后累计探索了一年，没有跑通。 DeepTech：这也是你后来去哈佛做生物视觉研究的原因吗？ 袁粒：动机其实很纯粹。我就想去看看启发人工神经网络的脑科学那边发生了什么，能不能启发我们再往前有一些推动，或者给我们一些信心，继续往前推进。 当时大家对 AI 的期望比较高，但发现落地范围有限、泛化能力不够好。在高校做学术研究的一个好处，是我们可以静下心来，重新思考底层的问题：为什么当时的神经网络泛化不行，问题到底在哪里，是卷积神经网络的问题，或者数据问题，还是这条技术路线上限就是很低？这时候需要做一些尝试。 会做出来，就算理解了吗？ DeepTech：从视觉走向多模态，外界容易把它理解成“给模型多接几种输入”。以 Video-LLaVA 为例，你们真正想解决的是什么？ 袁粒：我们在 2023 年推出 Video-LLaVA 时，不少大模型还是分别处理图像或者视频。图像主要提供空间信息，视频还涉及时间和动作的变化。这些信息原本的表征，也就是模型内部表达信息的方式，有比较大的差异。 如果把它们直接交给语言模型，那时候的模型是无法适应时空上的差异。我们的想法是，先让图像和视频的信息对齐，再映射到语言模型能够处理的空间。比如，一个人把东西放进杯子里，模型既要知道什么是物体、什么是容器，也要理解动作发生的前后关系。只处理静态信息，或者只处理动态信息，都会限制它的能力。 我们在实验中看到，在统一的视觉表征下，图像和视频的学习可以相互促进。当然，这不等于模型已经掌握了物理因果。它是在为进一步理解物理世界打

来源只提供摘要，完整内容请打开原文。