DeepMind 于力军谈 AI 视频生成：短剧不是目的，下一步是更高级的智能

视频生成技术好，短剧才能“不烧心”。 AI 视频生成正在加速商业化，短剧成为最热门的应用场景之一。国家广电总局 9 月中旬披露，今年前 8 个月全国上线微短剧 43 万部，是去年全年的 13 倍，其中 AI 剧占比超过九成。 字节跳动旗下的红果短剧，已经成为这一市场的头部平台。QuestMobile 数据显示，9 月红果日活跃用户达到 2.03 亿，超过爱奇艺、腾讯视频、优酷、芒果TV四家之和。主打 AI 漫剧的红果免费漫剧，5 月月活也已接近 4,000 万。用户规模扩大，使用时长也在增长。今年三季度，红果月人均单日使用时长约 151 分钟，超过了微信、抖音、快手、小红书等月活过亿的应用。 庞大的用户需求推动内容产量激增，也带来了持续增长的算力消耗。行业甚至有人调侃：“世界的 token 一半在中国，中国的 token 一半在短剧。” 今年，于力军入选《麻省理工科技评论》“35 岁以下科技创新 35 人”（TR35）亚太区榜单。他长期研究多模态模型与视频生成，作为第一作者提出 MAGVIT、MAGVIT-v2，用视觉词元表示图像和视频，并参与 VideoPoet，以语言模型生成视频，在视觉表征与视频生成领域作出杰出贡献。 近日，DeepTech 围绕视频生成的路线与未来，和于力军进行了对话。 从最初设法生成一段视频，到今天反复权衡画质、速度与训练规模，于力军和团队换过不止一条技术路线。他认为，视频生成已跨过“从零到一”的门槛，接下来要在画质、效率与规模化之间寻找更好的平衡。不同任务偏好的训练方式并不相同，统一多模态模型仍有很长的路要走。 另外，于力军最初研究视频生成时，还怀着一个更远的设想：世界上有那么多真实视频，如果模型能直接观察真实世界，能否实现更高级的智能？ 以下是 DeepTech 与于力军的对话。 原本想做操作系统，却开始教 AI 理解视频 DeepTech：从高中到大学，你对计算机的兴趣是怎样形成的？后来又是什么契机让你开始做视频生成相关研究？ 于力军：高中时我在哈尔滨三中读书，是理科生。那时就对计算机感兴趣，但没有参加过竞赛培训，更多是自己写些小程序，解决实际问题。 高考填志愿时，我想去北大，也喜欢那里的自由氛围。家里更希望我学经管，但我的分数够不上当时最热门的经管专业。那时计算机还没现在这么热门，我自己又感兴趣，就选了它。 在大一的时候，我们是按大类培养，要通过选课决定以后偏软件还是硬件。我那时有点贪心，数学和物理都想学好，既选了比较难的数学课，也去上物理学院的课。数学没什么问题，编程经常能拿满分，但物理课里有不少竞赛出身的同学，有点受挫。到大二，就决定学计算机。 另外，我原本对系统，尤其是操作系统很感兴趣。学校当时引进了一些卡内基梅隆大学的专业课程，有一次考试我考得很好，授课老师注意到我，邀请我进实验室。我以为终于能做操作系统了，结果老师说，他有位毕业生在微软亚洲研究院工作，建议我跟着他做人工智能，说这个方向前景更广阔，于是我就这样走上了人工智能研究的路。 DeepTech：你进入实验室后开始接触人工智能，那么后来又是怎样走向多模态和视频研究的？ 于力军：大概是大二、大三的时候。那时研究还比较初步，算力和项目规模都不像现在这么大。 后来北大鼓励学生去国外做暑期科研，我联系到了后来成为我博士导师的老师。他研究多模态，我大三结束后去卡内基梅隆大学做暑期科研，开始做视频理解。本科毕业后，我又回到那里读博士。 视频理解要处理大量真实视频，比如网上的视频和日常生活中的摄像头画面。我们想知道画面里什么时候、什么地方发生了什么活动。做到 2021 年左右，沿着当时的方法，效果已经不错，但进一步提高很难。 在此期间，我参加过一个多所大学合作的项目，做实时分析视频中人、车活动的系统，有点像智慧城市的应用。既要识别准确，也要运行得快，我们做到了很好的成绩。但系统主要由分别训练的模块拼起来，在那种范式里继续优化，空间已经不大。后来研究者开始靠扩大模型、数据和算力来提升能力，思路很不一样。 正好那时视频生成还很难。我导师推荐我去谷歌，跟一位在那里工作的师兄实习，我便从视频理解转向了视频生成。 DeepTech：从早期的视频理解到后来的视频生成，你研究过哪些具体问题？有没有特别难忘的经历？ 于力军：我写的第一篇论文是预测电子竞技比赛的结果：实时分析两队的对战数据，判断哪队会赢。其实这是因为带我的师兄喜欢游戏，觉得这个问题值得做。我对于游戏本身没有太大兴趣，但通过它自学了 Python、机器学习和深度学习，也学会了怎么训练模型。 做视频理解时，一件很有意思的事是自己搭计算集群。我们一开始买消费级 GPU，一台机器只能插几块卡，如果想训大一点的模型、跑得快一点，就得有更多算力。学校经费不够长期租大规模云集群，我们便买了很多卡，自己连线，

来源只提供摘要，完整内容请打开原文。