跳到正文
WeChatRSS:晚点LatePost· 晚点LatePost·· 2 天前

还原田柯宇事件:字节 Goku 训练故障、代码篡改与“天才”争夺

还原田柯宇事件:被破坏的训练,和一个争抢 “天才” 的时代

事实摘要

字节跳动视频生成团队 Goku 在 2024 年夏天经历数月训练故障,排查后发现 PyTorch 数据加载代码被改动,登录记录指向实习生田柯宇,字节随后将其辞退并起诉其篡改代码、干扰模型训练。田柯宇两年后获得近 3000 万美元融资,并在播客中重提旧事,多位前同事公开回应,争议再起。

原文与核验

这条信号在站内保留事实摘要与战略研判。完整内容和上下文请以原文为准;融资、并购与技术效果以原始披露为准。

打开原文
正文 · 原文摘要

我们试图提供田柯宇事件的更多事实,让很多讨论有据可依。 文丨董慧 陈佳惠 管艺雯 编辑丨管艺雯 2024 年夏天,字节跳动一支视频生成团队经历了几个月无法解释的训练故障,上百名工程师参与排查,最后发现是人为干扰。结果是字节辞退了实习生田柯宇,并在之后起诉他篡改代码、干扰模型训练并造成损失。 两年后,田柯宇获得近 3000 万美元融资,似乎取得了一个短剧式的转折。但他在一档播客中主动重提旧事,说自己当年是出于 “朴素的正义” 的 “以暴制暴”。他的多位前同事随即公开回应,提供了更多细节。沉寂两年的争议再次爆发。 过去几天里,我们访谈了陈守法、葛崇剑、孙培泽等当年参与项目训练和排障的研究人员,以及接近事件处理过程的字节人士;也访谈了接触过田柯宇的投资机构,还有其他 AI 研究员和创业者。我们联系了田柯宇,希望他进一步回应前同事提出的具体指控,他提到由于案件处于二审流程中,且被字节申请了不公开审理,披露细节有法律风险,因此很多细节无法提供。 这些访谈还原了此前少有人讲述的细节:研究团队如何在反复失败中逐渐失去信心,怎样偶然发现异常代码,字节如何处理这场内部冲突,以及事件结束后,那些受到影响的人经历了什么。 AI 的进展长期受益于跨越公司和国界的合作与共享。随着商业价值扩大,年轻研究者也更早地进入了对算力、论文和投资的竞争。 田柯宇事件留下的一个问题是:当公司和投资人挑选最有潜力的人时,除了取得了什么成果,他们有多在意成果是如何取得的? 中毒排查:“像给身体插满管子,甚至怀疑是太阳黑子的影响” 2024 年 5 月,Goku 文生视频模型项目启动仅一个多月,训练就出现异常:每周中断两三次,Loss(衡量模型预测误差的指标)还会乱飞,正常训练时它应该沿着预期趋势逐步下降。 负责 Goku 训练的,是实习生陈守法。他在这一年 3 月下旬入职字节商业化 GenAI 团队,此前在 Meta 实习期间,他已经用 DiT(扩散 Transformer)架构训练过较小规模的视频模型,这也是字节主动联系他来训练视频模型的原因之一。 就在他入职前一个月,OpenAI 发布视频生成模型 Sora,展示了 DiT 架构在大规模视频生成上的潜力。全球科技公司随即加速追赶,字节内部至少有三支团队相互竞争:商业化技术团队的 Goku,AI Lab 的 PixelDance(后来 Seedance 的主力团队),以及 Seed 的 Seaweed。 “全世界都在争分夺秒。” 陈守法说,“早一天超过一个团队,影响力就不一样。” Goku 所在的小组,此时还有多个图像生成项目,包括田柯宇在 VAR 论文基础上,开始训练基于自回归路线(区别于扩散路线)的文生图模型;孙培泽主导、陈守法参与的 LlamaGen,则研究类似 GPT 的逐 Token 图像生成等。 其中,VAR 和 Goku 是投入大量算力的两个重点项目,其他则以较小规模开展学术研究。 田柯宇当时是北京大学研究生,已在字节该组实习了三年。他的工位和陈守法中间只隔着孙培泽,话不多,习惯傍晚来、凌晨走,同组实习生白天很少见到他。 那一年 2 月,他刚完成 VAR 论文,正要把它推向更大规模的文生图模型。那一年年底,这篇论文将获得 NeurIPS 最佳论文。 在 VAR 论文初版完成后,田柯宇同时在参与三个 VAR 相关的延伸项目、两个 Tokenizer 项目及另一个自回归图像生成项目,其中 VAR 相关项目是他投入精力最多的。 多位当时的实习生向我们表示,早期 VAR 和 Goku 资源相当,Goku 也从启动伊始就受到了管理层的关注。入职第一天,陈守法就被部门高层找来聊项目的计划,跨两级的管理层也经常在办公室和他聊技术细节。 按计划,Goku 要在 4 月底做完图片模型,5 月底有一版视频模型,陈守法对此 “斗志昂扬”。组里没有现成的训练代码,他从零写起。他与同门师兄孙培泽的工位挨着,两人经常一块畅想 “要干一票大的”,后者比田柯宇更早来组里做研究,也给 Goku 做辅助工作。 起初,一切都在加速。4 月开始,来自数据、Infra 等团队的支持人员不断增多,新到的卡被优先分配给 Goku 使用。陈守法的直属领导催促他尽快扩大训练规模。 但两个重点项目始终共用同一个资源池。据多位当时的项目成员说,到了实际训练时,VAR 和 Goku 能用多少卡并没有明确的配额。这样的安排可以让算力不容易闲置,代价是资源上的摩擦一直持续到项目中期。 按照田柯宇在播客 elsewhere 中的说法,组内的 “实习生 A” 超额占用 GPU,并关停了他人训练任务。 在陈守法的陈述中,两人的直属领导多次告诉他跑的总卡数量还不够,而他计划好的夜间大规模实验常因为缺少一小部分的卡无法启动,有时等到凌晨两三点,排在前面的任务仍未结束。耽误一

来源只提供摘要,完整内容请打开原文。

来源:WeChatRSS:晚点LatePost · mp.weixin.qq.com