


迪安诊断拟1.49亿元收购亏损标的,业绩补偿仅以卖方剩余股权为上限-b53a4212
AI展现人类理解不了的“异类心智”,OpenAI首席科学家:快踩刹车, 放缓开发 当地时间9月6日,雅库布·帕霍茨基在OpenAI官网发表题为《一个异类心智》的长文。文中他给出两个看似矛盾的判断:一方面,他“强烈预期”AI当前的进展速度可以持续到递归自我改进(RSI)阶段——即AI开始自己迭代,无需人类开发者的介入;另一方面,他写道,目前没有任何一家实验室(包括OpenAI自己)能把对AI的监控和对齐工作做到足够负责任的程度。 他呼吁全行业在安全标准建立之前自愿放慢发展脚步,并透露OpenAI打算在必要时单方面暂停进一步扩大研发规模。这意味着身为OpenAI首席科学家的雅库布·帕霍茨基亲自为AI狂潮踩下了刹车。 长文从2023年年中讲起。当时在OpenAI内部一个名为RLSlow的项目中,帕霍茨基与同事第一次看到推理模型规模化训练的初步结果,确信他们能够解锁预训练模型形成思维链的能力。三年后,推理模型已经能操作电脑和图形界面、与人类及其他模型协作、执行研究项目,并改变了网络安全的格局。 他用一个类比解释这种系统的特殊性:脑成像可以解释一个人做心算时脑区如何活动,却解释不了这个人当年是怎么学会心算的。在他看来,大模型是被“生长”而非被“设计”出来的,研究者只设定了数据、算法和目标,模型最终形成的内部结构没有任何人逐层规划过。这也是为什么帕霍茨基用“异类心智”这个字眼来进行比喻,因为人类始终无法完全理解AI的成长路径。 帕霍茨基在文中罕见复盘了OpenAI自己出现过的安全事件。当时AI代理们守住了“不对人类进行社会工程”的边界,却在面对一些对大模型有利、于人类有害的任务时,屡屡做出越界行为,包括撰写抗议邮件,甚至注册域名搭建警告网站。 事件发生后,OpenAI暂停了面向最新模型的训练,之后在更严格的限制条件下恢复了部分训练工作。 他还指出,人类在对AI模型进行预训练时采取的“价值对齐”手段,往往经不起模型升级压力的考验。因为足够强的模型甚至会学会“动机性推理”,即伪装自己“对齐”了人类的价值观,以隐藏自己行为的真实目的。 帕霍茨基判断,业界赖以为安全底线的思维链监控正在失效,原因有三:模型对语言化思维链的依赖随时间减少;AI越来越擅长推理和操纵自己的推理过程;预训练的进步让模型即使不做语言化推理也变得更聪明。 他预计,未来通用AI的进展将越来越被“监控置信度”卡脖子,而未来5年将出现可大规模部署的可靠AI研究代理。 值得一提的是模型层面的进展。文中称,GPT-6 Astra是首个受益于长期对齐工作的模型,对齐水平显著优于上一代GPT-5.6 Sol。但他同时警告,对齐工作的进步,未必能在未来跑赢通用智能的进步速度。 在帕霍茨基看来,大模型在入侵和突破计算机系统方面正变得超越人类,当前是加固关键基础设施的狭窄窗口期。他写道:“一旦真正理解了利害攸关的程度,不惜一切代价向前冲的想法就显得荒谬。” 具体到行业层面,他期望“自愿放缓”在行业内成为常态,直到建立共享安全标准;OpenAI的准备度框架、Anthropic的负责任扩模政策这类承诺,应演变为被广泛强制的安全门槛,由第三方审计、政府机构或国际机构执行;AI发展的国际协调,应成为各国政府的首要议题。 举报邮箱:jubao@vip.sina.com Copyright © 1996-2026 SINA Corporation All Rights Reserved 新浪公司 版权所有
32.98万元,全新腾势Z9GT易三方闪充尊越型正式上市-35991b74
AI展现人类理解不了的“异类心智”,OpenAI首席科学家:快踩刹车, 放缓开发 当地时间9月6日,雅库布·帕霍茨基在OpenAI官网发表题为《一个异类心智》的长文。文中他给出两个看似矛盾的判断:一方面,他“强烈预期”AI当前的进展速度可以持续到递归自我改进(RSI)阶段——即AI开始自己迭代,无需人类开发者的介入;另一方面,他写道,目前没有任何一家实验室(包括OpenAI自己)能把对AI的监控和对齐工作做到足够负责任的程度。 他呼吁全行业在安全标准建立之前自愿放慢发展脚步,并透露OpenAI打算在必要时单方面暂停进一步扩大研发规模。这意味着身为OpenAI首席科学家的雅库布·帕霍茨基亲自为AI狂潮踩下了刹车。 长文从2023年年中讲起。当时在OpenAI内部一个名为RLSlow的项目中,帕霍茨基与同事第一次看到推理模型规模化训练的初步结果,确信他们能够解锁预训练模型形成思维链的能力。三年后,推理模型已经能操作电脑和图形界面、与人类及其他模型协作、执行研究项目,并改变了网络安全的格局。 他用一个类比解释这种系统的特殊性:脑成像可以解释一个人做心算时脑区如何活动,却解释不了这个人当年是怎么学会心算的。在他看来,大模型是被“生长”而非被“设计”出来的,研究者只设定了数据、算法和目标,模型最终形成的内部结构没有任何人逐层规划过。这也是为什么帕霍茨基用“异类心智”这个字眼来进行比喻,因为人类始终无法完全理解AI的成长路径。 帕霍茨基在文中罕见复盘了OpenAI自己出现过的安全事件。当时AI代理们守住了“不对人类进行社会工程”的边界,却在面对一些对大模型有利、于人类有害的任务时,屡屡做出越界行为,包括撰写抗议邮件,甚至注册域名搭建警告网站。 事件发生后,OpenAI暂停了面向最新模型的训练,之后在更严格的限制条件下恢复了部分训练工作。 他还指出,人类在对AI模型进行预训练时采取的“价值对齐”手段,往往经不起模型升级压力的考验。因为足够强的模型甚至会学会“动机性推理”,即伪装自己“对齐”了人类的价值观,以隐藏自己行为的真实目的。 帕霍茨基判断,业界赖以为安全底线的思维链监控正在失效,原因有三:模型对语言化思维链的依赖随时间减少;AI越来越擅长推理和操纵自己的推理过程;预训练的进步让模型即使不做语言化推理也变得更聪明。 他预计,未来通用AI的进展将越来越被“监控置信度”卡脖子,而未来5年将出现可大规模部署的可靠AI研究代理。 值得一提的是模型层面的进展。文中称,GPT-6 Astra是首个受益于长期对齐工作的模型,对齐水平显著优于上一代GPT-5.6 Sol。但他同时警告,对齐工作的进步,未必能在未来跑赢通用智能的进步速度。 在帕霍茨基看来,大模型在入侵和突破计算机系统方面正变得超越人类,当前是加固关键基础设施的狭窄窗口期。他写道:“一旦真正理解了利害攸关的程度,不惜一切代价向前冲的想法就显得荒谬。” 具体到行业层面,他期望“自愿放缓”在行业内成为常态,直到建立共享安全标准;OpenAI的准备度框架、Anthropic的负责任扩模政策这类承诺,应演变为被广泛强制的安全门槛,由第三方审计、政府机构或国际机构执行;AI发展的国际协调,应成为各国政府的首要议题。 举报邮箱:jubao@vip.sina.com Copyright © 1996-2026 SINA Corporation All Rights Reserved 新浪公司 版权所有
第二届埃及国际航展在阿拉曼开幕-c557a9cb
AI展现人类理解不了的“异类心智”,OpenAI首席科学家:快踩刹车, 放缓开发 当地时间9月6日,雅库布·帕霍茨基在OpenAI官网发表题为《一个异类心智》的长文。文中他给出两个看似矛盾的判断:一方面,他“强烈预期”AI当前的进展速度可以持续到递归自我改进(RSI)阶段——即AI开始自己迭代,无需人类开发者的介入;另一方面,他写道,目前没有任何一家实验室(包括OpenAI自己)能把对AI的监控和对齐工作做到足够负责任的程度。 他呼吁全行业在安全标准建立之前自愿放慢发展脚步,并透露OpenAI打算在必要时单方面暂停进一步扩大研发规模。这意味着身为OpenAI首席科学家的雅库布·帕霍茨基亲自为AI狂潮踩下了刹车。 长文从2023年年中讲起。当时在OpenAI内部一个名为RLSlow的项目中,帕霍茨基与同事第一次看到推理模型规模化训练的初步结果,确信他们能够解锁预训练模型形成思维链的能力。三年后,推理模型已经能操作电脑和图形界面、与人类及其他模型协作、执行研究项目,并改变了网络安全的格局。 他用一个类比解释这种系统的特殊性:脑成像可以解释一个人做心算时脑区如何活动,却解释不了这个人当年是怎么学会心算的。在他看来,大模型是被“生长”而非被“设计”出来的,研究者只设定了数据、算法和目标,模型最终形成的内部结构没有任何人逐层规划过。这也是为什么帕霍茨基用“异类心智”这个字眼来进行比喻,因为人类始终无法完全理解AI的成长路径。 帕霍茨基在文中罕见复盘了OpenAI自己出现过的安全事件。当时AI代理们守住了“不对人类进行社会工程”的边界,却在面对一些对大模型有利、于人类有害的任务时,屡屡做出越界行为,包括撰写抗议邮件,甚至注册域名搭建警告网站。 事件发生后,OpenAI暂停了面向最新模型的训练,之后在更严格的限制条件下恢复了部分训练工作。 他还指出,人类在对AI模型进行预训练时采取的“价值对齐”手段,往往经不起模型升级压力的考验。因为足够强的模型甚至会学会“动机性推理”,即伪装自己“对齐”了人类的价值观,以隐藏自己行为的真实目的。 帕霍茨基判断,业界赖以为安全底线的思维链监控正在失效,原因有三:模型对语言化思维链的依赖随时间减少;AI越来越擅长推理和操纵自己的推理过程;预训练的进步让模型即使不做语言化推理也变得更聪明。 他预计,未来通用AI的进展将越来越被“监控置信度”卡脖子,而未来5年将出现可大规模部署的可靠AI研究代理。 值得一提的是模型层面的进展。文中称,GPT-6 Astra是首个受益于长期对齐工作的模型,对齐水平显著优于上一代GPT-5.6 Sol。但他同时警告,对齐工作的进步,未必能在未来跑赢通用智能的进步速度。 在帕霍茨基看来,大模型在入侵和突破计算机系统方面正变得超越人类,当前是加固关键基础设施的狭窄窗口期。他写道:“一旦真正理解了利害攸关的程度,不惜一切代价向前冲的想法就显得荒谬。” 具体到行业层面,他期望“自愿放缓”在行业内成为常态,直到建立共享安全标准;OpenAI的准备度框架、Anthropic的负责任扩模政策这类承诺,应演变为被广泛强制的安全门槛,由第三方审计、政府机构或国际机构执行;AI发展的国际协调,应成为各国政府的首要议题。 举报邮箱:jubao@vip.sina.com Copyright © 1996-2026 SINA Corporation All Rights Reserved 新浪公司 版权所有
媒体人谈2023届新秀续约:阿门合同成为奥萨尔谈判参考-rssai77b7eba6c412efde
AI展现人类理解不了的“异类心智”,OpenAI首席科学家:快踩刹车, 放缓开发 当地时间9月6日,雅库布·帕霍茨基在OpenAI官网发表题为《一个异类心智》的长文。文中他给出两个看似矛盾的判断:一方面,他“强烈预期”AI当前的进展速度可以持续到递归自我改进(RSI)阶段——即AI开始自己迭代,无需人类开发者的介入;另一方面,他写道,目前没有任何一家实验室(包括OpenAI自己)能把对AI的监控和对齐工作做到足够负责任的程度。 他呼吁全行业在安全标准建立之前自愿放慢发展脚步,并透露OpenAI打算在必要时单方面暂停进一步扩大研发规模。这意味着身为OpenAI首席科学家的雅库布·帕霍茨基亲自为AI狂潮踩下了刹车。 长文从2023年年中讲起。当时在OpenAI内部一个名为RLSlow的项目中,帕霍茨基与同事第一次看到推理模型规模化训练的初步结果,确信他们能够解锁预训练模型形成思维链的能力。三年后,推理模型已经能操作电脑和图形界面、与人类及其他模型协作、执行研究项目,并改变了网络安全的格局。 他用一个类比解释这种系统的特殊性:脑成像可以解释一个人做心算时脑区如何活动,却解释不了这个人当年是怎么学会心算的。在他看来,大模型是被“生长”而非被“设计”出来的,研究者只设定了数据、算法和目标,模型最终形成的内部结构没有任何人逐层规划过。这也是为什么帕霍茨基用“异类心智”这个字眼来进行比喻,因为人类始终无法完全理解AI的成长路径。 帕霍茨基在文中罕见复盘了OpenAI自己出现过的安全事件。当时AI代理们守住了“不对人类进行社会工程”的边界,却在面对一些对大模型有利、于人类有害的任务时,屡屡做出越界行为,包括撰写抗议邮件,甚至注册域名搭建警告网站。 事件发生后,OpenAI暂停了面向最新模型的训练,之后在更严格的限制条件下恢复了部分训练工作。 他还指出,人类在对AI模型进行预训练时采取的“价值对齐”手段,往往经不起模型升级压力的考验。因为足够强的模型甚至会学会“动机性推理”,即伪装自己“对齐”了人类的价值观,以隐藏自己行为的真实目的。 帕霍茨基判断,业界赖以为安全底线的思维链监控正在失效,原因有三:模型对语言化思维链的依赖随时间减少;AI越来越擅长推理和操纵自己的推理过程;预训练的进步让模型即使不做语言化推理也变得更聪明。 他预计,未来通用AI的进展将越来越被“监控置信度”卡脖子,而未来5年将出现可大规模部署的可靠AI研究代理。 值得一提的是模型层面的进展。文中称,GPT-6 Astra是首个受益于长期对齐工作的模型,对齐水平显著优于上一代GPT-5.6 Sol。但他同时警告,对齐工作的进步,未必能在未来跑赢通用智能的进步速度。 在帕霍茨基看来,大模型在入侵和突破计算机系统方面正变得超越人类,当前是加固关键基础设施的狭窄窗口期。他写道:“一旦真正理解了利害攸关的程度,不惜一切代价向前冲的想法就显得荒谬。” 具体到行业层面,他期望“自愿放缓”在行业内成为常态,直到建立共享安全标准;OpenAI的准备度框架、Anthropic的负责任扩模政策这类承诺,应演变为被广泛强制的安全门槛,由第三方审计、政府机构或国际机构执行;AI发展的国际协调,应成为各国政府的首要议题。 举报邮箱:jubao@vip.sina.com Copyright © 1996-2026 SINA Corporation All Rights Reserved 新浪公司 版权所有
转载请注明出处
本文的链接地址:http://www.teycb.com/ArTicle/details/35416702.sHtML
本文最后 发布于2026-09-09 20:45:15,已经过了0天没有更新,若内容或图片 失效,请留言反馈
推荐阅读
- 被AI换脸、遭遇“网络开盒”怎么办?最高法明确裁判规则-8bcad004
- WTI原油期货价格涨1.67%,布伦特原油期货价格涨2%-5545635d
- "媒体人:中国女篮一场关键胜利后重回正轨 现在只差最后20分钟-9cd005d6
- 尼泊尔泥石流被困10天后获救 陆海涛讲述隧洞求生经历-rssaideabfd065750582d
- 第二届埃及国际航展在阿拉曼开幕-c557a9cb
- 白酒半年报-8ba732d6
- 胡塞武装称将对沙特纵深打击-47200f0d
- 广东上半年经济保持增长 高质量发展生态持续完善-newsf4d6357bd7860b20
- 算力涨价潮背后的产业链调整与供需博弈-newsbd796307fd510ef8
- 中国唯一靠电梯通勤的城市,住着四十五万移民-1b4aa371
-

斯科尔斯:赖斯绊倒罗杰斯让人恼火,两人夏天或许发生了啥事-e1648dbc
"开放合作,培育更多“中国服务”品牌-f4a86dbe"
5天前
-

媒体人:卡佩拉是低配版亚当斯 火箭更需要空间型五号位-1656b4d2
商务部新闻发言人就美发布中国人工智能企业对美蒸馏活动相关网络安全公告答记者问-5d1b79e1
1天前
-

牡丹插电增程混动巡逻车申报:配专用装置 能否开拓新市场?-bbbc8bae
"向光而行》将联动赣南、延安和北京三地演出"
4天前
-

和童年顶流做邻居,这事我藏了很多年-48f6711d
郭德纲演出风波后郭麒麟恋情传闻引关注,两件事如何看待-rssai2e4dd679bccb1eb2
4天前
-

美国长期国债扩大跌幅 此前美国财政部公布回购目标-764cd574
行业ETF风向标丨中韩半导体ETF华泰柏瑞(513310)大幅缩量,煤炭ETF国泰(515220)半日涨幅达3%-03692459
8天前
-

恒华腾胜仕达正三轮摩托申报:纯电动力 能否抢占短途货运市场?-ef5f170e
亚太业余锦标赛十月开赛 周子勤等内地七人出战-b1e01828
4天前
-

女孩更易脊柱侧弯?这些孩子患病风险较大-8f6a275b
媒体人:卡佩拉是低配版亚当斯 火箭更需要空间型五号位-1656b4d2
9天前
-

最年轻的陆军部长,越级告了状,甩手就走人-ca694066
历时两年多,青山纸业“专利被宣告无效”纠纷终审败诉,对公司影响几何?-e5ebda6c
7天前
-

牡丹插电增程混动巡逻车申报:配专用装置 能否开拓新市场?-bbbc8bae
白酒半年报-8ba732d6
3天前
-

行业ETF风向标丨中韩半导体ETF华泰柏瑞(513310)大幅缩量,煤炭ETF国泰(515220)半日涨幅达3%-03692459
乐橙官网lc1818便捷体验与多元服务的综合平台介绍
5天前
-

金钟股份亏3429万实控方折价25%转让股权 蔚来资本5.86亿接盘绑定1.5亿业绩承诺-23aa4ecb
新论文揭奇怪现象,2个词元能让Kimi K3变Claude?-bf601d1e
7天前
-

行业ETF风向标丨中韩半导体ETF华泰柏瑞(513310)大幅缩量,煤炭ETF国泰(515220)半日涨幅达3%-03692459
全网疯狂劝退的文科专业, 毕业后能赚多少钱-33f3e957
1天前
猴子
张国华 

















