量子位· 鹭羽·· 3 小时前精选
MIT实验:GPT-6 Astra直接改写Qwen权重,数学得分提升约6倍
MIT:GPT-6 Astra能直接修改Qwen权重,数学能力暴涨6倍
事实摘要
MIT团队让GPT-6 Astra直接读取并编辑Qwen3.5-0.8B的权重,仅改动0.016%的参数,MATH-500得分从7.9%升至48.1%,全程未使用训练或梯度下降。该方法被命名为Weight-Space Programming,Astra还从零写出小游戏网络权重,平均得分517.4,超过训练5亿步的PPO基线20倍。
原文与核验
这条信号在站内保留事实摘要与战略研判。完整内容和上下文请以原文为准;融资、并购与技术效果以原始披露为准。
战略研判
基于公开信息为什么值得关注
若该方法可复现,模型适配可能从梯度训练转向对权重的直接读写,降低小模型能力调优的算力门槛;但实验规模仅限0.8B模型和小型游戏网络,尚不能外推到前沿大模型。
后续关注
MATH-500提升是否在更多随机种子和更大模型上复现;Astra修改权重时是否依赖对Qwen架构的先验知识。
正文 · 原文摘要
指令执行能力也同步提升
来源只提供摘要,完整内容请打开原文。
来源:量子位 · qbitai.com