QQ联系我 QQ联系我 QQ联系我
网页模板
餐饮公司网站
浏览次数:13218次
作者:kimi
等级:
商业贸易网站
浏览次数:12354次
作者:kimi
等级:
环保科技公司企业模板2
浏览次数:11223次
作者:kimi
等级:
电气设备公司企业模板
浏览次数:8233次
作者:kimi
等级:
环保科技公司企业模板3
浏览次数:8123次
作者:kimi
等级:
不训练、直改权重:GPT-6 Astra改写Qwen参数引发关注
行业新闻 | 2026/11/5 | 点击:38

MIT CSAIL团队近日公布八项实验,测试OpenAI的GPT-6 Astra直接读写神经网络权重的能力,并将这一方法称为“权重空间编程”。所谓“权重空间编程”,是指让大模型绕过梯度训练,直接检查、定位并改写另一个网络的参数,从而修复故障或赋予新行为。这一思路若成立,意味着大模型不仅能写训练代码,还能深入模型内部“动手术”。

其中最受关注的一项实验中,Astra在不使用梯度训练的情况下,仅修改Qwen3.5-0.8B约0.016%的参数,就把该模型MATH-500数学准确率从7.9%提升到48.1%,约为原来的6倍。

实验发现,开启思考模式的Qwen3.5-0.8B在推理过程中不断重复已有内容,难以推进到结论。最初一轮96条练习输出里,85条撞上了32768个Token的生成上限。Astra通过对比循环与正常推理时的内部信号,将循环行为的来源锁定在网络中部偏后的两层前馈模块,即第15层与第19层,从每层64个输出列中剔除与重复模式相关的方向分量,涉及约13.1万个权重位置,实际生效约13.0万个。最高分尝试历经158轮对话、80次Python执行,耗时20.3小时。修改后,生成触顶比例由93%降至33.1%,GSM8K成绩从13.8%升至67.1%,IFEval指令遵循准确率从21.0%升至62.3%。研究团队认为,这次补丁主要减少了推理循环,让模型充分发挥已有能力。

不过,该方法并非对所有模型都奏效。据多篇报道援引的实验记录,团队在Gemma 3 270M上做了对照测试,该模型原本不存在明显循环问题,Astra的权重修改未能带来稳定提升。这说明“权重空间编程”目前更像针对特定故障的修复手段,而非通用的能力增强方法。

其余实验中,Astra不看游戏画面,仅凭权重和输入说明,就认出了《打砖块》《乒乓球》《吃豆人》《过马路》四款网格游戏;在模拟驾驶任务中,它判断小车需要先后退助跑再冲坡,修改3.5%的权重后,1024次测试全部成功。它还能从零编写游戏网络权重,三款游戏得分均超过PPO训练1亿步的同结构网络;在9×9围棋任务中,经50次前向调用调整后,对三个PPO网络的胜率达到70.0%至78.5%。

共同作者Rikiya Takehi的帖子在X上浏览量已超490万,有网友打趣称这是“大脑给大脑做手术”。但也有研究者指出,提示词已提前引导Astra排查重复推理问题。目前团队已公开实验日志和权重修改记录,并计划构建评测基准;至于更长远的递归自我改进方向,研究团队仅将其列为后续探索目标,尚未展开实验。

大模型过去靠蒸馏把能力传给小模型,如今又展示了直接帮小模型修故障的路径。对本地部署小模型的开发者而言,这或许是一条值得关注的优化思路:借助大模型排查内部问题,修复后的模型仍可独立运行。不过,其适用边界仍需更多独立实验来验证。

【免责声明】 本文部分数据来源于网络公开报道及行业资讯,如有侵权,请及时联系,我们将第一时间予以删除或更正。文中所涉观点、数据及分析仅代表小编个人观点,仅供参考,不构成任何投资建议、商业决策依据、法律承诺或其他专业意见。投资有风险,决策需谨慎;任何单位或个人据此进行商业决策、经营行为所产生的风险,均自行承担。

无锡做网站就找无锡世融网络科技有限公司www.srwlkj.com,无锡网络建设公司、无锡网站建设公司,主营无锡网站建设、无锡网页设计、无锡企业网站建设、无锡客户管理软件,无锡客户信息管理,销售分析评估系统   电话:18961739208

网站首页 | 公司简介 | 加入我们 | 联系我们 |  虚拟主机  | 无锡网页设计 | 域名注册
无锡企业做网站模版 | 无锡做网站 | 无锡企业网站建设|先舟erp| 无锡不锈钢加工厂|软瓷

版权所有:无锡世融网络科技有限公司 Copyright©2010 苏ICP备10231109号-3 ICP电信经营许可证:苏B2-20100211

苏公网安备 32020602000573号