LeCun 团队论文用 JEPA 证明柏拉图表征假说

编辑｜Neo、泽南 人工智能先驱 Yann LeCun 一直主张「生成式 AI 是一条死胡同，世界模型才是真的未来」。 他认为自回归生成有数学上的硬伤，文本承载不了人类的大部分知识，真正的推理也不是基于优化的推断，衡量智能的标准应该是学习新任务的速度，以及零样本应对全新环境的能力。 基于这种观点，LeCun 寻求的替代路线是世界模型 + JEPA，一套目标驱动型架构。最近他提交的一篇论文向着这个方向前进了一大步，它从数学上论证了「next-token 预测路线效率低下」，还给出了自己的方法，用一个 1.09 亿参数的模型打败了 720 亿的 LLM。 一个只看图片的模型，与一个文本大模型，会不会在内部形成相似的「概念地图」？ 柏拉图表征假说（Platonic Representation Hypothesis, PRH） 由 Huh 等人在 ICML 2024 论文中提出，指在不同模态（视觉、语言）上分别训练的模型，随着规模增大其内部表征会越来越相似，最终收敛到同一个对现实的共享统计模型。这就如同柏拉图洞穴里不同的人看到了同一个「理念世界」。但它只有经验曲线和一个理想化对比学习器的直觉论证，既没有证明也没有配方，行业能做的只有继续堆规模。 这篇论文做的事就是把它变成定理，并给出了可操作的充分条件。 论文：《Proving and Improving the Platonic Representation Hypothesis with JEPAs》 链接：https://arxiv.org/abs/2610.39302 GitHub：https://github.com/galilai-group/prh-proof 让模型从不同描述中，学到同一个场景 文字模型读到的每句话都混合着两类信息：它描述了什么，以及它怎样描述。狗在追球属于前者，用「追逐」还是「追赶」则属于后者。如果希望文字模型与图片模型形成相通的表征，就需要让文字模型更多地保留场景中的内容。 但训练时，怎样告诉模型，哪些内容值得保留？ 作者采用的办法，是让模型同时学习同一场景的不同观察。两个人描述同一张照片，用词、句式可以变化，场景中的主体和关系却大体一致。如果要求模型从这些描述中提取相似的表征，就能给它一个学习信号：寻找不同表达背后的共同内容。 JEPA（联合嵌入预测架构）提供了落实这个想法的方式。在本文的设置中，编码器先把输入转换成向量，训练再拉近一组输入的向量。这意味着，选择哪些输入组成一组，会直接影响模型被鼓励保留什么。 为了让模型从文字中提取场景信息，训练时应该给它看同一场景的不同描述，还是同一句话经过截取、遮盖后得到的不同版本？作者通过对照实验比较了这两种选择。 假设一张照片里，一只狗正在草地上追球。两个人分别写下描述：「一只狗在草地上追逐皮球」和「草坪上的小狗正在追赶玩具」。 第一组从这两份不同描述中，分别截取片段、遮盖部分词语。例如，模型看到的可能是「狗在草地上追逐［遮盖］」和「草坪上的小狗正在追赶［遮盖］」。两句话表达不同，要让它们的向量接近，模型就需要更多地利用「草地」与「草坪」、「追逐」与「追赶」背后相通的场景内容。 第二组则只取第一句话，将它加工成两个版本，例如「一只狗在［遮盖］追逐皮球」和「一只狗在草地上追逐［遮盖］」。两份输入保留了「一只狗在」「追逐」等相同措辞，模型可以借助这些文字上的相似，让它们的向量接近。 作者将第一组称为「好视图」（good-view），第二组称为「坏视图」（bad-view）。这里的「视图」，可以理解为训练时提供给模型的一份观察。两组采用相同的 JEPA 学习方式，便能考察：输入之间共享的是场景，还是某一句话的表达，会给表征带来什么差别。 「好视图」使 PRH 成为一个定理，并使对齐过程的样本效率提升了 42 倍。 这套训练还需要解决一个问题：如果模型把所有文字都转换成同一个向量，也能满足「向量接近」的要求。因此，作者加入防止「表征坍塌」的约束，让整体表征保持分散。模型既要找到一组描述的共同内容，又不能把所有场景混为一谈。 沿着这个思路，文字与图片之间的联系也更容易理解了。措辞是文字特有的信息，拍摄角度是图片特有的信息，场景中的主体和关系，则可能被两种观察共同保留。如果分别训练的模型都学会提取这些共同结构，它们的内部表征就有机会相通。 由一个从未接受过任何图像-文字对训练的网络生成的字幕：使用了冻结的 DINOv2 和 DINOv3 图像编码器，仅旋转一次，并采用仅基于文本微调的语言模型，每次场景变化都会生成新的字幕。 作者为此给出了数学条件。在理论构造的有限世界中，他们假设每种观察都足以确定对应的世界状态。如果不同模态的训练连接相同的世界状态关系，那么还原到世界状态后，各模型就在求解同一个优化问题。在最优解除旋

来源只提供摘要，完整内容请打开原文。