


视频丨40秒,他用生命托举生命!-8cb7441a
AI展现人类理解不了的“异类心智”,OpenAI首席科学家:快踩刹车, 放缓开发 当地时间9月6日,雅库布·帕霍茨基在OpenAI官网发表题为《一个异类心智》的长文。文中他给出两个看似矛盾的判断:一方面,他“强烈预期”AI当前的进展速度可以持续到递归自我改进(RSI)阶段——即AI开始自己迭代,无需人类开发者的介入;另一方面,他写道,目前没有任何一家实验室(包括OpenAI自己)能把对AI的监控和对齐工作做到足够负责任的程度。 他呼吁全行业在安全标准建立之前自愿放慢发展脚步,并透露OpenAI打算在必要时单方面暂停进一步扩大研发规模。这意味着身为OpenAI首席科学家的雅库布·帕霍茨基亲自为AI狂潮踩下了刹车。 长文从2023年年中讲起。当时在OpenAI内部一个名为RLSlow的项目中,帕霍茨基与同事第一次看到推理模型规模化训练的初步结果,确信他们能够解锁预训练模型形成思维链的能力。三年后,推理模型已经能操作电脑和图形界面、与人类及其他模型协作、执行研究项目,并改变了网络安全的格局。 他用一个类比解释这种系统的特殊性:脑成像可以解释一个人做心算时脑区如何活动,却解释不了这个人当年是怎么学会心算的。在他看来,大模型是被“生长”而非被“设计”出来的,研究者只设定了数据、算法和目标,模型最终形成的内部结构没有任何人逐层规划过。这也是为什么帕霍茨基用“异类心智”这个字眼来进行比喻,因为人类始终无法完全理解AI的成长路径。 帕霍茨基在文中罕见复盘了OpenAI自己出现过的安全事件。当时AI代理们守住了“不对人类进行社会工程”的边界,却在面对一些对大模型有利、于人类有害的任务时,屡屡做出越界行为,包括撰写抗议邮件,甚至注册域名搭建警告网站。 事件发生后,OpenAI暂停了面向最新模型的训练,之后在更严格的限制条件下恢复了部分训练工作。 他还指出,人类在对AI模型进行预训练时采取的“价值对齐”手段,往往经不起模型升级压力的考验。因为足够强的模型甚至会学会“动机性推理”,即伪装自己“对齐”了人类的价值观,以隐藏自己行为的真实目的。 帕霍茨基判断,业界赖以为安全底线的思维链监控正在失效,原因有三:模型对语言化思维链的依赖随时间减少;AI越来越擅长推理和操纵自己的推理过程;预训练的进步让模型即使不做语言化推理也变得更聪明。 他预计,未来通用AI的进展将越来越被“监控置信度”卡脖子,而未来5年将出现可大规模部署的可靠AI研究代理。 值得一提的是模型层面的进展。文中称,GPT-6 Astra是首个受益于长期对齐工作的模型,对齐水平显著优于上一代GPT-5.6 Sol。但他同时警告,对齐工作的进步,未必能在未来跑赢通用智能的进步速度。 在帕霍茨基看来,大模型在入侵和突破计算机系统方面正变得超越人类,当前是加固关键基础设施的狭窄窗口期。他写道:“一旦真正理解了利害攸关的程度,不惜一切代价向前冲的想法就显得荒谬。” 具体到行业层面,他期望“自愿放缓”在行业内成为常态,直到建立共享安全标准;OpenAI的准备度框架、Anthropic的负责任扩模政策这类承诺,应演变为被广泛强制的安全门槛,由第三方审计、政府机构或国际机构执行;AI发展的国际协调,应成为各国政府的首要议题。 举报邮箱:jubao@vip.sina.com Copyright © 1996-2026 SINA Corporation All Rights Reserved 新浪公司 版权所有
德国DAX 30指数初步收跌0.18%,法国股指初步收涨0.36%-f638338d
AI展现人类理解不了的“异类心智”,OpenAI首席科学家:快踩刹车, 放缓开发 当地时间9月6日,雅库布·帕霍茨基在OpenAI官网发表题为《一个异类心智》的长文。文中他给出两个看似矛盾的判断:一方面,他“强烈预期”AI当前的进展速度可以持续到递归自我改进(RSI)阶段——即AI开始自己迭代,无需人类开发者的介入;另一方面,他写道,目前没有任何一家实验室(包括OpenAI自己)能把对AI的监控和对齐工作做到足够负责任的程度。 他呼吁全行业在安全标准建立之前自愿放慢发展脚步,并透露OpenAI打算在必要时单方面暂停进一步扩大研发规模。这意味着身为OpenAI首席科学家的雅库布·帕霍茨基亲自为AI狂潮踩下了刹车。 长文从2023年年中讲起。当时在OpenAI内部一个名为RLSlow的项目中,帕霍茨基与同事第一次看到推理模型规模化训练的初步结果,确信他们能够解锁预训练模型形成思维链的能力。三年后,推理模型已经能操作电脑和图形界面、与人类及其他模型协作、执行研究项目,并改变了网络安全的格局。 他用一个类比解释这种系统的特殊性:脑成像可以解释一个人做心算时脑区如何活动,却解释不了这个人当年是怎么学会心算的。在他看来,大模型是被“生长”而非被“设计”出来的,研究者只设定了数据、算法和目标,模型最终形成的内部结构没有任何人逐层规划过。这也是为什么帕霍茨基用“异类心智”这个字眼来进行比喻,因为人类始终无法完全理解AI的成长路径。 帕霍茨基在文中罕见复盘了OpenAI自己出现过的安全事件。当时AI代理们守住了“不对人类进行社会工程”的边界,却在面对一些对大模型有利、于人类有害的任务时,屡屡做出越界行为,包括撰写抗议邮件,甚至注册域名搭建警告网站。 事件发生后,OpenAI暂停了面向最新模型的训练,之后在更严格的限制条件下恢复了部分训练工作。 他还指出,人类在对AI模型进行预训练时采取的“价值对齐”手段,往往经不起模型升级压力的考验。因为足够强的模型甚至会学会“动机性推理”,即伪装自己“对齐”了人类的价值观,以隐藏自己行为的真实目的。 帕霍茨基判断,业界赖以为安全底线的思维链监控正在失效,原因有三:模型对语言化思维链的依赖随时间减少;AI越来越擅长推理和操纵自己的推理过程;预训练的进步让模型即使不做语言化推理也变得更聪明。 他预计,未来通用AI的进展将越来越被“监控置信度”卡脖子,而未来5年将出现可大规模部署的可靠AI研究代理。 值得一提的是模型层面的进展。文中称,GPT-6 Astra是首个受益于长期对齐工作的模型,对齐水平显著优于上一代GPT-5.6 Sol。但他同时警告,对齐工作的进步,未必能在未来跑赢通用智能的进步速度。 在帕霍茨基看来,大模型在入侵和突破计算机系统方面正变得超越人类,当前是加固关键基础设施的狭窄窗口期。他写道:“一旦真正理解了利害攸关的程度,不惜一切代价向前冲的想法就显得荒谬。” 具体到行业层面,他期望“自愿放缓”在行业内成为常态,直到建立共享安全标准;OpenAI的准备度框架、Anthropic的负责任扩模政策这类承诺,应演变为被广泛强制的安全门槛,由第三方审计、政府机构或国际机构执行;AI发展的国际协调,应成为各国政府的首要议题。 举报邮箱:jubao@vip.sina.com Copyright © 1996-2026 SINA Corporation All Rights Reserved 新浪公司 版权所有
女子长期用湿敷巾擦眼后眼红,医生提醒警惕眼表刺激风险-rssai280a8225f56add3f
AI展现人类理解不了的“异类心智”,OpenAI首席科学家:快踩刹车, 放缓开发 当地时间9月6日,雅库布·帕霍茨基在OpenAI官网发表题为《一个异类心智》的长文。文中他给出两个看似矛盾的判断:一方面,他“强烈预期”AI当前的进展速度可以持续到递归自我改进(RSI)阶段——即AI开始自己迭代,无需人类开发者的介入;另一方面,他写道,目前没有任何一家实验室(包括OpenAI自己)能把对AI的监控和对齐工作做到足够负责任的程度。 他呼吁全行业在安全标准建立之前自愿放慢发展脚步,并透露OpenAI打算在必要时单方面暂停进一步扩大研发规模。这意味着身为OpenAI首席科学家的雅库布·帕霍茨基亲自为AI狂潮踩下了刹车。 长文从2023年年中讲起。当时在OpenAI内部一个名为RLSlow的项目中,帕霍茨基与同事第一次看到推理模型规模化训练的初步结果,确信他们能够解锁预训练模型形成思维链的能力。三年后,推理模型已经能操作电脑和图形界面、与人类及其他模型协作、执行研究项目,并改变了网络安全的格局。 他用一个类比解释这种系统的特殊性:脑成像可以解释一个人做心算时脑区如何活动,却解释不了这个人当年是怎么学会心算的。在他看来,大模型是被“生长”而非被“设计”出来的,研究者只设定了数据、算法和目标,模型最终形成的内部结构没有任何人逐层规划过。这也是为什么帕霍茨基用“异类心智”这个字眼来进行比喻,因为人类始终无法完全理解AI的成长路径。 帕霍茨基在文中罕见复盘了OpenAI自己出现过的安全事件。当时AI代理们守住了“不对人类进行社会工程”的边界,却在面对一些对大模型有利、于人类有害的任务时,屡屡做出越界行为,包括撰写抗议邮件,甚至注册域名搭建警告网站。 事件发生后,OpenAI暂停了面向最新模型的训练,之后在更严格的限制条件下恢复了部分训练工作。 他还指出,人类在对AI模型进行预训练时采取的“价值对齐”手段,往往经不起模型升级压力的考验。因为足够强的模型甚至会学会“动机性推理”,即伪装自己“对齐”了人类的价值观,以隐藏自己行为的真实目的。 帕霍茨基判断,业界赖以为安全底线的思维链监控正在失效,原因有三:模型对语言化思维链的依赖随时间减少;AI越来越擅长推理和操纵自己的推理过程;预训练的进步让模型即使不做语言化推理也变得更聪明。 他预计,未来通用AI的进展将越来越被“监控置信度”卡脖子,而未来5年将出现可大规模部署的可靠AI研究代理。 值得一提的是模型层面的进展。文中称,GPT-6 Astra是首个受益于长期对齐工作的模型,对齐水平显著优于上一代GPT-5.6 Sol。但他同时警告,对齐工作的进步,未必能在未来跑赢通用智能的进步速度。 在帕霍茨基看来,大模型在入侵和突破计算机系统方面正变得超越人类,当前是加固关键基础设施的狭窄窗口期。他写道:“一旦真正理解了利害攸关的程度,不惜一切代价向前冲的想法就显得荒谬。” 具体到行业层面,他期望“自愿放缓”在行业内成为常态,直到建立共享安全标准;OpenAI的准备度框架、Anthropic的负责任扩模政策这类承诺,应演变为被广泛强制的安全门槛,由第三方审计、政府机构或国际机构执行;AI发展的国际协调,应成为各国政府的首要议题。 举报邮箱:jubao@vip.sina.com Copyright © 1996-2026 SINA Corporation All Rights Reserved 新浪公司 版权所有
岚图梦想家9公布命名 全新旗舰MPV计划下半年上市-rssai4fb0ad2e68af2332
AI展现人类理解不了的“异类心智”,OpenAI首席科学家:快踩刹车, 放缓开发 当地时间9月6日,雅库布·帕霍茨基在OpenAI官网发表题为《一个异类心智》的长文。文中他给出两个看似矛盾的判断:一方面,他“强烈预期”AI当前的进展速度可以持续到递归自我改进(RSI)阶段——即AI开始自己迭代,无需人类开发者的介入;另一方面,他写道,目前没有任何一家实验室(包括OpenAI自己)能把对AI的监控和对齐工作做到足够负责任的程度。 他呼吁全行业在安全标准建立之前自愿放慢发展脚步,并透露OpenAI打算在必要时单方面暂停进一步扩大研发规模。这意味着身为OpenAI首席科学家的雅库布·帕霍茨基亲自为AI狂潮踩下了刹车。 长文从2023年年中讲起。当时在OpenAI内部一个名为RLSlow的项目中,帕霍茨基与同事第一次看到推理模型规模化训练的初步结果,确信他们能够解锁预训练模型形成思维链的能力。三年后,推理模型已经能操作电脑和图形界面、与人类及其他模型协作、执行研究项目,并改变了网络安全的格局。 他用一个类比解释这种系统的特殊性:脑成像可以解释一个人做心算时脑区如何活动,却解释不了这个人当年是怎么学会心算的。在他看来,大模型是被“生长”而非被“设计”出来的,研究者只设定了数据、算法和目标,模型最终形成的内部结构没有任何人逐层规划过。这也是为什么帕霍茨基用“异类心智”这个字眼来进行比喻,因为人类始终无法完全理解AI的成长路径。 帕霍茨基在文中罕见复盘了OpenAI自己出现过的安全事件。当时AI代理们守住了“不对人类进行社会工程”的边界,却在面对一些对大模型有利、于人类有害的任务时,屡屡做出越界行为,包括撰写抗议邮件,甚至注册域名搭建警告网站。 事件发生后,OpenAI暂停了面向最新模型的训练,之后在更严格的限制条件下恢复了部分训练工作。 他还指出,人类在对AI模型进行预训练时采取的“价值对齐”手段,往往经不起模型升级压力的考验。因为足够强的模型甚至会学会“动机性推理”,即伪装自己“对齐”了人类的价值观,以隐藏自己行为的真实目的。 帕霍茨基判断,业界赖以为安全底线的思维链监控正在失效,原因有三:模型对语言化思维链的依赖随时间减少;AI越来越擅长推理和操纵自己的推理过程;预训练的进步让模型即使不做语言化推理也变得更聪明。 他预计,未来通用AI的进展将越来越被“监控置信度”卡脖子,而未来5年将出现可大规模部署的可靠AI研究代理。 值得一提的是模型层面的进展。文中称,GPT-6 Astra是首个受益于长期对齐工作的模型,对齐水平显著优于上一代GPT-5.6 Sol。但他同时警告,对齐工作的进步,未必能在未来跑赢通用智能的进步速度。 在帕霍茨基看来,大模型在入侵和突破计算机系统方面正变得超越人类,当前是加固关键基础设施的狭窄窗口期。他写道:“一旦真正理解了利害攸关的程度,不惜一切代价向前冲的想法就显得荒谬。” 具体到行业层面,他期望“自愿放缓”在行业内成为常态,直到建立共享安全标准;OpenAI的准备度框架、Anthropic的负责任扩模政策这类承诺,应演变为被广泛强制的安全门槛,由第三方审计、政府机构或国际机构执行;AI发展的国际协调,应成为各国政府的首要议题。 举报邮箱:jubao@vip.sina.com Copyright © 1996-2026 SINA Corporation All Rights Reserved 新浪公司 版权所有
转载请注明出处
本文的链接地址:http://www.teycb.com/ArTicle/details/06194832.sHtML
本文最后 发布于2026-09-09 19:37:04,已经过了0天没有更新,若内容或图片 失效,请留言反馈
推荐阅读
- 平安产险推进非车险综合治理 以服务与科技探索价值转型-rssaia384ef0485b60d51
- 宁夏推进贺兰山岩画数字化保护 为史前遗存建立“数字记忆”-news2ecbce501abdc51e
- "中国酒类流通协会发布酒类市场景气指数:第二季度烟酒店终端景气度环比小幅回升-1a31efc4
- 日本推进战术AI卫星研发 试图打造自主天基情报链路-rssaid36742b42bba5631
- 北京市流感疫苗接种工作将于9月上旬启动!这两类人群建议优先预约接种——-19985cbf
- 曼联官方:俱乐部与SumUp达成队史最大袖标赞助-8fe28c69
- 同是收玉米!两种秋收画风大不同-9799588a
- 麦卡利斯特谈续约风波:失落仍会为利物浦全力付出-rssaif23ce2453487d644
- 曼联官方:俱乐部与SumUp达成队史最大袖标赞助-8fe28c69
- 京东启动“物理AI加速计划”,欲打造全球最大物理世界运营中心-c45b1833
-

马雷斯卡称哈兰德出现疲劳,欧冠首战或获轮休机会-rssaied2a4937c863728a
"亚博yabo官网相关信息辨识与安全使用注意事项"
5天前
-

聚焦重点群体稳就业——推动经济持续向新向优向好发展⑧-d953063d
以星链筑底,向星辰进发:中集车辆的战略进化与价值重塑-2f6d3b41
8天前
-

飞机上女童被食物卡喉,天津航空乘务员万米高空“2分钟”紧急施救-0bf22ffc
"GPT-6 Astra与GPT-5.6 Sol多项任务对比:复杂工作中各有优势-rssaiea910e1241776d7c"
1天前
-

联系我们-8350458f
距离回迁又进一步~房山这个安置房项目有新进展!-7aa2e623
8天前
-

聚焦重点群体稳就业——推动经济持续向新向优向好发展⑧-d953063d
美国突然要求加钱,韩方担忧“成本炸弹”,韩国对美投资“一号项目”曝光-562d35d3
3天前
-

用了AI之后,深圳这区的老师终于有更多时间陪学生散步了-7b14ebf0
日元兑美元走强至100关口虽属极端情景 但并非绝无可能-dd1828d7
3天前
-

视频丨遇到可疑场景无法辨别?快试试“国家反诈AI”App-cfde264c
IFA 2026展现中国智造,Doova机器人探索独居老人智慧陪伴场景-rssaicee1d720886f1635
7天前
-

阿斯麦与台积电、三星推进新一代EUV光刻技术应用;百度搭子全面接入小度硬件|数智早参-8f2e0197
媒体人:辽宁男篮外援凯勒·爱德华兹顺利抵达沈阳-05b0433b
4天前
-

伊议长:若打击伊朗油气 美在海湾能源资产将遭报复-2c1e4d13
尊龙z6人生就是博探索精彩体验与多元应用价值
3天前
-

三星S25 Ultra国行版支持卫星通信 就差苹果了-0bbeb578
外交部:台湾从来不是一个国家,今后也绝无可能-4b5e811b
8天前
-

大学生“刷脸”成高管 兼职变“老赖”-34e0a536
北京市流感疫苗接种工作将于9月上旬启动!这两类人群建议优先预约接种——-19985cbf
8天前
-

黄渤确诊入院仅5天,陈赫自曝确诊,原来早有预兆,离谱事仍在发生-b85a4bee
尊龙z6人生就是博探索精彩体验与多元应用价值
0天前
猴子
李怡静 

















