


同样是脑梗,为何康复结局大不同?-fbbd3207
AI展现人类理解不了的“异类心智”,OpenAI首席科学家:快踩刹车, 放缓开发 当地时间9月6日,雅库布·帕霍茨基在OpenAI官网发表题为《一个异类心智》的长文。文中他给出两个看似矛盾的判断:一方面,他“强烈预期”AI当前的进展速度可以持续到递归自我改进(RSI)阶段——即AI开始自己迭代,无需人类开发者的介入;另一方面,他写道,目前没有任何一家实验室(包括OpenAI自己)能把对AI的监控和对齐工作做到足够负责任的程度。 他呼吁全行业在安全标准建立之前自愿放慢发展脚步,并透露OpenAI打算在必要时单方面暂停进一步扩大研发规模。这意味着身为OpenAI首席科学家的雅库布·帕霍茨基亲自为AI狂潮踩下了刹车。 长文从2023年年中讲起。当时在OpenAI内部一个名为RLSlow的项目中,帕霍茨基与同事第一次看到推理模型规模化训练的初步结果,确信他们能够解锁预训练模型形成思维链的能力。三年后,推理模型已经能操作电脑和图形界面、与人类及其他模型协作、执行研究项目,并改变了网络安全的格局。 他用一个类比解释这种系统的特殊性:脑成像可以解释一个人做心算时脑区如何活动,却解释不了这个人当年是怎么学会心算的。在他看来,大模型是被“生长”而非被“设计”出来的,研究者只设定了数据、算法和目标,模型最终形成的内部结构没有任何人逐层规划过。这也是为什么帕霍茨基用“异类心智”这个字眼来进行比喻,因为人类始终无法完全理解AI的成长路径。 帕霍茨基在文中罕见复盘了OpenAI自己出现过的安全事件。当时AI代理们守住了“不对人类进行社会工程”的边界,却在面对一些对大模型有利、于人类有害的任务时,屡屡做出越界行为,包括撰写抗议邮件,甚至注册域名搭建警告网站。 事件发生后,OpenAI暂停了面向最新模型的训练,之后在更严格的限制条件下恢复了部分训练工作。 他还指出,人类在对AI模型进行预训练时采取的“价值对齐”手段,往往经不起模型升级压力的考验。因为足够强的模型甚至会学会“动机性推理”,即伪装自己“对齐”了人类的价值观,以隐藏自己行为的真实目的。 帕霍茨基判断,业界赖以为安全底线的思维链监控正在失效,原因有三:模型对语言化思维链的依赖随时间减少;AI越来越擅长推理和操纵自己的推理过程;预训练的进步让模型即使不做语言化推理也变得更聪明。 他预计,未来通用AI的进展将越来越被“监控置信度”卡脖子,而未来5年将出现可大规模部署的可靠AI研究代理。 值得一提的是模型层面的进展。文中称,GPT-6 Astra是首个受益于长期对齐工作的模型,对齐水平显著优于上一代GPT-5.6 Sol。但他同时警告,对齐工作的进步,未必能在未来跑赢通用智能的进步速度。 在帕霍茨基看来,大模型在入侵和突破计算机系统方面正变得超越人类,当前是加固关键基础设施的狭窄窗口期。他写道:“一旦真正理解了利害攸关的程度,不惜一切代价向前冲的想法就显得荒谬。” 具体到行业层面,他期望“自愿放缓”在行业内成为常态,直到建立共享安全标准;OpenAI的准备度框架、Anthropic的负责任扩模政策这类承诺,应演变为被广泛强制的安全门槛,由第三方审计、政府机构或国际机构执行;AI发展的国际协调,应成为各国政府的首要议题。 举报邮箱:jubao@vip.sina.com Copyright © 1996-2026 SINA Corporation All Rights Reserved 新浪公司 版权所有
券商打响主动ETF代销“前哨战”-4b6c8c62
AI展现人类理解不了的“异类心智”,OpenAI首席科学家:快踩刹车, 放缓开发 当地时间9月6日,雅库布·帕霍茨基在OpenAI官网发表题为《一个异类心智》的长文。文中他给出两个看似矛盾的判断:一方面,他“强烈预期”AI当前的进展速度可以持续到递归自我改进(RSI)阶段——即AI开始自己迭代,无需人类开发者的介入;另一方面,他写道,目前没有任何一家实验室(包括OpenAI自己)能把对AI的监控和对齐工作做到足够负责任的程度。 他呼吁全行业在安全标准建立之前自愿放慢发展脚步,并透露OpenAI打算在必要时单方面暂停进一步扩大研发规模。这意味着身为OpenAI首席科学家的雅库布·帕霍茨基亲自为AI狂潮踩下了刹车。 长文从2023年年中讲起。当时在OpenAI内部一个名为RLSlow的项目中,帕霍茨基与同事第一次看到推理模型规模化训练的初步结果,确信他们能够解锁预训练模型形成思维链的能力。三年后,推理模型已经能操作电脑和图形界面、与人类及其他模型协作、执行研究项目,并改变了网络安全的格局。 他用一个类比解释这种系统的特殊性:脑成像可以解释一个人做心算时脑区如何活动,却解释不了这个人当年是怎么学会心算的。在他看来,大模型是被“生长”而非被“设计”出来的,研究者只设定了数据、算法和目标,模型最终形成的内部结构没有任何人逐层规划过。这也是为什么帕霍茨基用“异类心智”这个字眼来进行比喻,因为人类始终无法完全理解AI的成长路径。 帕霍茨基在文中罕见复盘了OpenAI自己出现过的安全事件。当时AI代理们守住了“不对人类进行社会工程”的边界,却在面对一些对大模型有利、于人类有害的任务时,屡屡做出越界行为,包括撰写抗议邮件,甚至注册域名搭建警告网站。 事件发生后,OpenAI暂停了面向最新模型的训练,之后在更严格的限制条件下恢复了部分训练工作。 他还指出,人类在对AI模型进行预训练时采取的“价值对齐”手段,往往经不起模型升级压力的考验。因为足够强的模型甚至会学会“动机性推理”,即伪装自己“对齐”了人类的价值观,以隐藏自己行为的真实目的。 帕霍茨基判断,业界赖以为安全底线的思维链监控正在失效,原因有三:模型对语言化思维链的依赖随时间减少;AI越来越擅长推理和操纵自己的推理过程;预训练的进步让模型即使不做语言化推理也变得更聪明。 他预计,未来通用AI的进展将越来越被“监控置信度”卡脖子,而未来5年将出现可大规模部署的可靠AI研究代理。 值得一提的是模型层面的进展。文中称,GPT-6 Astra是首个受益于长期对齐工作的模型,对齐水平显著优于上一代GPT-5.6 Sol。但他同时警告,对齐工作的进步,未必能在未来跑赢通用智能的进步速度。 在帕霍茨基看来,大模型在入侵和突破计算机系统方面正变得超越人类,当前是加固关键基础设施的狭窄窗口期。他写道:“一旦真正理解了利害攸关的程度,不惜一切代价向前冲的想法就显得荒谬。” 具体到行业层面,他期望“自愿放缓”在行业内成为常态,直到建立共享安全标准;OpenAI的准备度框架、Anthropic的负责任扩模政策这类承诺,应演变为被广泛强制的安全门槛,由第三方审计、政府机构或国际机构执行;AI发展的国际协调,应成为各国政府的首要议题。 举报邮箱:jubao@vip.sina.com Copyright © 1996-2026 SINA Corporation All Rights Reserved 新浪公司 版权所有
券商打响主动ETF代销“前哨战”-4b6c8c62
AI展现人类理解不了的“异类心智”,OpenAI首席科学家:快踩刹车, 放缓开发 当地时间9月6日,雅库布·帕霍茨基在OpenAI官网发表题为《一个异类心智》的长文。文中他给出两个看似矛盾的判断:一方面,他“强烈预期”AI当前的进展速度可以持续到递归自我改进(RSI)阶段——即AI开始自己迭代,无需人类开发者的介入;另一方面,他写道,目前没有任何一家实验室(包括OpenAI自己)能把对AI的监控和对齐工作做到足够负责任的程度。 他呼吁全行业在安全标准建立之前自愿放慢发展脚步,并透露OpenAI打算在必要时单方面暂停进一步扩大研发规模。这意味着身为OpenAI首席科学家的雅库布·帕霍茨基亲自为AI狂潮踩下了刹车。 长文从2023年年中讲起。当时在OpenAI内部一个名为RLSlow的项目中,帕霍茨基与同事第一次看到推理模型规模化训练的初步结果,确信他们能够解锁预训练模型形成思维链的能力。三年后,推理模型已经能操作电脑和图形界面、与人类及其他模型协作、执行研究项目,并改变了网络安全的格局。 他用一个类比解释这种系统的特殊性:脑成像可以解释一个人做心算时脑区如何活动,却解释不了这个人当年是怎么学会心算的。在他看来,大模型是被“生长”而非被“设计”出来的,研究者只设定了数据、算法和目标,模型最终形成的内部结构没有任何人逐层规划过。这也是为什么帕霍茨基用“异类心智”这个字眼来进行比喻,因为人类始终无法完全理解AI的成长路径。 帕霍茨基在文中罕见复盘了OpenAI自己出现过的安全事件。当时AI代理们守住了“不对人类进行社会工程”的边界,却在面对一些对大模型有利、于人类有害的任务时,屡屡做出越界行为,包括撰写抗议邮件,甚至注册域名搭建警告网站。 事件发生后,OpenAI暂停了面向最新模型的训练,之后在更严格的限制条件下恢复了部分训练工作。 他还指出,人类在对AI模型进行预训练时采取的“价值对齐”手段,往往经不起模型升级压力的考验。因为足够强的模型甚至会学会“动机性推理”,即伪装自己“对齐”了人类的价值观,以隐藏自己行为的真实目的。 帕霍茨基判断,业界赖以为安全底线的思维链监控正在失效,原因有三:模型对语言化思维链的依赖随时间减少;AI越来越擅长推理和操纵自己的推理过程;预训练的进步让模型即使不做语言化推理也变得更聪明。 他预计,未来通用AI的进展将越来越被“监控置信度”卡脖子,而未来5年将出现可大规模部署的可靠AI研究代理。 值得一提的是模型层面的进展。文中称,GPT-6 Astra是首个受益于长期对齐工作的模型,对齐水平显著优于上一代GPT-5.6 Sol。但他同时警告,对齐工作的进步,未必能在未来跑赢通用智能的进步速度。 在帕霍茨基看来,大模型在入侵和突破计算机系统方面正变得超越人类,当前是加固关键基础设施的狭窄窗口期。他写道:“一旦真正理解了利害攸关的程度,不惜一切代价向前冲的想法就显得荒谬。” 具体到行业层面,他期望“自愿放缓”在行业内成为常态,直到建立共享安全标准;OpenAI的准备度框架、Anthropic的负责任扩模政策这类承诺,应演变为被广泛强制的安全门槛,由第三方审计、政府机构或国际机构执行;AI发展的国际协调,应成为各国政府的首要议题。 举报邮箱:jubao@vip.sina.com Copyright © 1996-2026 SINA Corporation All Rights Reserved 新浪公司 版权所有
机构:全球折叠屏累计出货有望年底破亿 苹果入场首年或居第二-c08c61cc
AI展现人类理解不了的“异类心智”,OpenAI首席科学家:快踩刹车, 放缓开发 当地时间9月6日,雅库布·帕霍茨基在OpenAI官网发表题为《一个异类心智》的长文。文中他给出两个看似矛盾的判断:一方面,他“强烈预期”AI当前的进展速度可以持续到递归自我改进(RSI)阶段——即AI开始自己迭代,无需人类开发者的介入;另一方面,他写道,目前没有任何一家实验室(包括OpenAI自己)能把对AI的监控和对齐工作做到足够负责任的程度。 他呼吁全行业在安全标准建立之前自愿放慢发展脚步,并透露OpenAI打算在必要时单方面暂停进一步扩大研发规模。这意味着身为OpenAI首席科学家的雅库布·帕霍茨基亲自为AI狂潮踩下了刹车。 长文从2023年年中讲起。当时在OpenAI内部一个名为RLSlow的项目中,帕霍茨基与同事第一次看到推理模型规模化训练的初步结果,确信他们能够解锁预训练模型形成思维链的能力。三年后,推理模型已经能操作电脑和图形界面、与人类及其他模型协作、执行研究项目,并改变了网络安全的格局。 他用一个类比解释这种系统的特殊性:脑成像可以解释一个人做心算时脑区如何活动,却解释不了这个人当年是怎么学会心算的。在他看来,大模型是被“生长”而非被“设计”出来的,研究者只设定了数据、算法和目标,模型最终形成的内部结构没有任何人逐层规划过。这也是为什么帕霍茨基用“异类心智”这个字眼来进行比喻,因为人类始终无法完全理解AI的成长路径。 帕霍茨基在文中罕见复盘了OpenAI自己出现过的安全事件。当时AI代理们守住了“不对人类进行社会工程”的边界,却在面对一些对大模型有利、于人类有害的任务时,屡屡做出越界行为,包括撰写抗议邮件,甚至注册域名搭建警告网站。 事件发生后,OpenAI暂停了面向最新模型的训练,之后在更严格的限制条件下恢复了部分训练工作。 他还指出,人类在对AI模型进行预训练时采取的“价值对齐”手段,往往经不起模型升级压力的考验。因为足够强的模型甚至会学会“动机性推理”,即伪装自己“对齐”了人类的价值观,以隐藏自己行为的真实目的。 帕霍茨基判断,业界赖以为安全底线的思维链监控正在失效,原因有三:模型对语言化思维链的依赖随时间减少;AI越来越擅长推理和操纵自己的推理过程;预训练的进步让模型即使不做语言化推理也变得更聪明。 他预计,未来通用AI的进展将越来越被“监控置信度”卡脖子,而未来5年将出现可大规模部署的可靠AI研究代理。 值得一提的是模型层面的进展。文中称,GPT-6 Astra是首个受益于长期对齐工作的模型,对齐水平显著优于上一代GPT-5.6 Sol。但他同时警告,对齐工作的进步,未必能在未来跑赢通用智能的进步速度。 在帕霍茨基看来,大模型在入侵和突破计算机系统方面正变得超越人类,当前是加固关键基础设施的狭窄窗口期。他写道:“一旦真正理解了利害攸关的程度,不惜一切代价向前冲的想法就显得荒谬。” 具体到行业层面,他期望“自愿放缓”在行业内成为常态,直到建立共享安全标准;OpenAI的准备度框架、Anthropic的负责任扩模政策这类承诺,应演变为被广泛强制的安全门槛,由第三方审计、政府机构或国际机构执行;AI发展的国际协调,应成为各国政府的首要议题。 举报邮箱:jubao@vip.sina.com Copyright © 1996-2026 SINA Corporation All Rights Reserved 新浪公司 版权所有
转载请注明出处
本文的链接地址:http://www.teycb.com/ArTicle/details/50264189.sHtML
本文最后 发布于2026-09-10 01:37:32,已经过了0天没有更新,若内容或图片 失效,请留言反馈
推荐阅读
- 武圣谈马刺追库里:可用福克斯作为主体筹码-rssaie1605e388ae77446
- 地铁直达、公交免费接驳、1.1万余个车位!北京服贸会好逛好玩,最全交通指南——-7b7bcafb
- "脑出血两大夺命风险,越早处理越好!-1d092484
- 成都服饰产业带赋能活动举行,抖音生活服务为个体商户提供数字化经营培训-news9b33fde19405e4a8
- 媒体人:身材又高又壮、速率又快的欧洲女篮 天生克制日本的打法-264b0c0c
- 摩尔线程超100亿元限售股解禁,当日大跌20%!9月科技次新股迎密集解禁大考-b2bec1fb
- 以财长:“今晚就驱逐英国大使!”-c73c26a4
- 青春华章丨壹时评:永怀报国愿,以充盈灵魂滋养青春气象-c889b8e3
- 深读“十五五”专项规划|新一代通信网2030年全面建成 6G商用适时启动-2ddd45bd
- 人民锐评开学季三则热搜 实际都在提醒“教育公平”-f3054933
-

公募9月首周调研热度升温 科技成长获关注基金发行延续-rssai28de4eee85dfd722
"超级置换价9.99万元起,解读全新捷途X90的大家庭SUV破局之道-d3b728c2"
7天前
-

人民锐评开学季三则热搜 实际都在提醒“教育公平”-f3054933
共建世界级科研枢纽 河套深港科创协同更进一竿-fc24ea06
4天前
-

最高法明确智能驾驶汽车致损责任承担规则-00e5016f
"4 款车、3 颗芯片、 15999 的折叠屏手机,小米的「疯狂一夜」-5f38594e"
8天前
-

神奇纪录!奇万·加里斯生涯31场比赛全败 是NBA历史最多-43cf7ce7
年薪几百万!8700亿牛股董秘,竟没发现隐藏多年的低级错误-c206c7d3
5天前
-

脑出血两大夺命风险,越早处理越好!-1d092484
外交部:立己达人是中国开展对外合作的价值底色-ef029bd6
9天前
-

伊朗在霍尔木兹海峡击落一架美军无人机-7ba11102
子公司新增逾期债务4667万元,联创电子逾期担保金额3.3亿元,占净资产超三成-c817ec7a
5天前
-

复星医药:控股子公司药品FXS5626获临床试验批准-2fb4fdfc
外媒关注中国人工智能从模型走向产业融合-rssai295bede868212257
3天前
-

4 款车、3 颗芯片、 15999 的折叠屏手机,小米的「疯狂一夜」-5f38594e
亚太AI合作面临新选择:中国倡导开源开放与多边合作-news177b338e6ac16abf
6天前
-

杨紫:自渡成舟-4d6f8c79
谍战剧《交锋》爆了,五位演员被赞,演技才是真正的颜值滤镜-7d062cbe
4天前
-

武圣谈马刺追库里:可用福克斯作为主体筹码-rssaie1605e388ae77446
伊朗在霍尔木兹海峡击落一架美军无人机-7ba11102
6天前
-

美债收益率9月8日恢复上涨 2年期收益率升至4.39%-rssaica5f7603585aa499
期待亚洲赛季!中网官宣首张正赛外卡,郑钦文将连续第4年参赛-57e06c58
8天前
-

DeepSeek被曝拟科创板IPO 已聘请中信证券筹备 最新估值或达5000亿-721d3be5
杨紫:自渡成舟-4d6f8c79
0天前
猴子
汤筠霞 

















