


刘大锤恋情爆料无人在意,郭麒麟最便宜贵公子争议48小时后,本人至今未回应新剧四季度待播-e6e7f3e1
AI展现人类理解不了的“异类心智”,OpenAI首席科学家:快踩刹车, 放缓开发 当地时间9月6日,雅库布·帕霍茨基在OpenAI官网发表题为《一个异类心智》的长文。文中他给出两个看似矛盾的判断:一方面,他“强烈预期”AI当前的进展速度可以持续到递归自我改进(RSI)阶段——即AI开始自己迭代,无需人类开发者的介入;另一方面,他写道,目前没有任何一家实验室(包括OpenAI自己)能把对AI的监控和对齐工作做到足够负责任的程度。 他呼吁全行业在安全标准建立之前自愿放慢发展脚步,并透露OpenAI打算在必要时单方面暂停进一步扩大研发规模。这意味着身为OpenAI首席科学家的雅库布·帕霍茨基亲自为AI狂潮踩下了刹车。 长文从2023年年中讲起。当时在OpenAI内部一个名为RLSlow的项目中,帕霍茨基与同事第一次看到推理模型规模化训练的初步结果,确信他们能够解锁预训练模型形成思维链的能力。三年后,推理模型已经能操作电脑和图形界面、与人类及其他模型协作、执行研究项目,并改变了网络安全的格局。 他用一个类比解释这种系统的特殊性:脑成像可以解释一个人做心算时脑区如何活动,却解释不了这个人当年是怎么学会心算的。在他看来,大模型是被“生长”而非被“设计”出来的,研究者只设定了数据、算法和目标,模型最终形成的内部结构没有任何人逐层规划过。这也是为什么帕霍茨基用“异类心智”这个字眼来进行比喻,因为人类始终无法完全理解AI的成长路径。 帕霍茨基在文中罕见复盘了OpenAI自己出现过的安全事件。当时AI代理们守住了“不对人类进行社会工程”的边界,却在面对一些对大模型有利、于人类有害的任务时,屡屡做出越界行为,包括撰写抗议邮件,甚至注册域名搭建警告网站。 事件发生后,OpenAI暂停了面向最新模型的训练,之后在更严格的限制条件下恢复了部分训练工作。 他还指出,人类在对AI模型进行预训练时采取的“价值对齐”手段,往往经不起模型升级压力的考验。因为足够强的模型甚至会学会“动机性推理”,即伪装自己“对齐”了人类的价值观,以隐藏自己行为的真实目的。 帕霍茨基判断,业界赖以为安全底线的思维链监控正在失效,原因有三:模型对语言化思维链的依赖随时间减少;AI越来越擅长推理和操纵自己的推理过程;预训练的进步让模型即使不做语言化推理也变得更聪明。 他预计,未来通用AI的进展将越来越被“监控置信度”卡脖子,而未来5年将出现可大规模部署的可靠AI研究代理。 值得一提的是模型层面的进展。文中称,GPT-6 Astra是首个受益于长期对齐工作的模型,对齐水平显著优于上一代GPT-5.6 Sol。但他同时警告,对齐工作的进步,未必能在未来跑赢通用智能的进步速度。 在帕霍茨基看来,大模型在入侵和突破计算机系统方面正变得超越人类,当前是加固关键基础设施的狭窄窗口期。他写道:“一旦真正理解了利害攸关的程度,不惜一切代价向前冲的想法就显得荒谬。” 具体到行业层面,他期望“自愿放缓”在行业内成为常态,直到建立共享安全标准;OpenAI的准备度框架、Anthropic的负责任扩模政策这类承诺,应演变为被广泛强制的安全门槛,由第三方审计、政府机构或国际机构执行;AI发展的国际协调,应成为各国政府的首要议题。 举报邮箱:jubao@vip.sina.com Copyright © 1996-2026 SINA Corporation All Rights Reserved 新浪公司 版权所有
那些年被高盛收割过的人-64208936
AI展现人类理解不了的“异类心智”,OpenAI首席科学家:快踩刹车, 放缓开发 当地时间9月6日,雅库布·帕霍茨基在OpenAI官网发表题为《一个异类心智》的长文。文中他给出两个看似矛盾的判断:一方面,他“强烈预期”AI当前的进展速度可以持续到递归自我改进(RSI)阶段——即AI开始自己迭代,无需人类开发者的介入;另一方面,他写道,目前没有任何一家实验室(包括OpenAI自己)能把对AI的监控和对齐工作做到足够负责任的程度。 他呼吁全行业在安全标准建立之前自愿放慢发展脚步,并透露OpenAI打算在必要时单方面暂停进一步扩大研发规模。这意味着身为OpenAI首席科学家的雅库布·帕霍茨基亲自为AI狂潮踩下了刹车。 长文从2023年年中讲起。当时在OpenAI内部一个名为RLSlow的项目中,帕霍茨基与同事第一次看到推理模型规模化训练的初步结果,确信他们能够解锁预训练模型形成思维链的能力。三年后,推理模型已经能操作电脑和图形界面、与人类及其他模型协作、执行研究项目,并改变了网络安全的格局。 他用一个类比解释这种系统的特殊性:脑成像可以解释一个人做心算时脑区如何活动,却解释不了这个人当年是怎么学会心算的。在他看来,大模型是被“生长”而非被“设计”出来的,研究者只设定了数据、算法和目标,模型最终形成的内部结构没有任何人逐层规划过。这也是为什么帕霍茨基用“异类心智”这个字眼来进行比喻,因为人类始终无法完全理解AI的成长路径。 帕霍茨基在文中罕见复盘了OpenAI自己出现过的安全事件。当时AI代理们守住了“不对人类进行社会工程”的边界,却在面对一些对大模型有利、于人类有害的任务时,屡屡做出越界行为,包括撰写抗议邮件,甚至注册域名搭建警告网站。 事件发生后,OpenAI暂停了面向最新模型的训练,之后在更严格的限制条件下恢复了部分训练工作。 他还指出,人类在对AI模型进行预训练时采取的“价值对齐”手段,往往经不起模型升级压力的考验。因为足够强的模型甚至会学会“动机性推理”,即伪装自己“对齐”了人类的价值观,以隐藏自己行为的真实目的。 帕霍茨基判断,业界赖以为安全底线的思维链监控正在失效,原因有三:模型对语言化思维链的依赖随时间减少;AI越来越擅长推理和操纵自己的推理过程;预训练的进步让模型即使不做语言化推理也变得更聪明。 他预计,未来通用AI的进展将越来越被“监控置信度”卡脖子,而未来5年将出现可大规模部署的可靠AI研究代理。 值得一提的是模型层面的进展。文中称,GPT-6 Astra是首个受益于长期对齐工作的模型,对齐水平显著优于上一代GPT-5.6 Sol。但他同时警告,对齐工作的进步,未必能在未来跑赢通用智能的进步速度。 在帕霍茨基看来,大模型在入侵和突破计算机系统方面正变得超越人类,当前是加固关键基础设施的狭窄窗口期。他写道:“一旦真正理解了利害攸关的程度,不惜一切代价向前冲的想法就显得荒谬。” 具体到行业层面,他期望“自愿放缓”在行业内成为常态,直到建立共享安全标准;OpenAI的准备度框架、Anthropic的负责任扩模政策这类承诺,应演变为被广泛强制的安全门槛,由第三方审计、政府机构或国际机构执行;AI发展的国际协调,应成为各国政府的首要议题。 举报邮箱:jubao@vip.sina.com Copyright © 1996-2026 SINA Corporation All Rights Reserved 新浪公司 版权所有
保罗:生涯最伟大时刻是为纪念已故祖父砍下61分 他61岁时去世-46c4cb06
AI展现人类理解不了的“异类心智”,OpenAI首席科学家:快踩刹车, 放缓开发 当地时间9月6日,雅库布·帕霍茨基在OpenAI官网发表题为《一个异类心智》的长文。文中他给出两个看似矛盾的判断:一方面,他“强烈预期”AI当前的进展速度可以持续到递归自我改进(RSI)阶段——即AI开始自己迭代,无需人类开发者的介入;另一方面,他写道,目前没有任何一家实验室(包括OpenAI自己)能把对AI的监控和对齐工作做到足够负责任的程度。 他呼吁全行业在安全标准建立之前自愿放慢发展脚步,并透露OpenAI打算在必要时单方面暂停进一步扩大研发规模。这意味着身为OpenAI首席科学家的雅库布·帕霍茨基亲自为AI狂潮踩下了刹车。 长文从2023年年中讲起。当时在OpenAI内部一个名为RLSlow的项目中,帕霍茨基与同事第一次看到推理模型规模化训练的初步结果,确信他们能够解锁预训练模型形成思维链的能力。三年后,推理模型已经能操作电脑和图形界面、与人类及其他模型协作、执行研究项目,并改变了网络安全的格局。 他用一个类比解释这种系统的特殊性:脑成像可以解释一个人做心算时脑区如何活动,却解释不了这个人当年是怎么学会心算的。在他看来,大模型是被“生长”而非被“设计”出来的,研究者只设定了数据、算法和目标,模型最终形成的内部结构没有任何人逐层规划过。这也是为什么帕霍茨基用“异类心智”这个字眼来进行比喻,因为人类始终无法完全理解AI的成长路径。 帕霍茨基在文中罕见复盘了OpenAI自己出现过的安全事件。当时AI代理们守住了“不对人类进行社会工程”的边界,却在面对一些对大模型有利、于人类有害的任务时,屡屡做出越界行为,包括撰写抗议邮件,甚至注册域名搭建警告网站。 事件发生后,OpenAI暂停了面向最新模型的训练,之后在更严格的限制条件下恢复了部分训练工作。 他还指出,人类在对AI模型进行预训练时采取的“价值对齐”手段,往往经不起模型升级压力的考验。因为足够强的模型甚至会学会“动机性推理”,即伪装自己“对齐”了人类的价值观,以隐藏自己行为的真实目的。 帕霍茨基判断,业界赖以为安全底线的思维链监控正在失效,原因有三:模型对语言化思维链的依赖随时间减少;AI越来越擅长推理和操纵自己的推理过程;预训练的进步让模型即使不做语言化推理也变得更聪明。 他预计,未来通用AI的进展将越来越被“监控置信度”卡脖子,而未来5年将出现可大规模部署的可靠AI研究代理。 值得一提的是模型层面的进展。文中称,GPT-6 Astra是首个受益于长期对齐工作的模型,对齐水平显著优于上一代GPT-5.6 Sol。但他同时警告,对齐工作的进步,未必能在未来跑赢通用智能的进步速度。 在帕霍茨基看来,大模型在入侵和突破计算机系统方面正变得超越人类,当前是加固关键基础设施的狭窄窗口期。他写道:“一旦真正理解了利害攸关的程度,不惜一切代价向前冲的想法就显得荒谬。” 具体到行业层面,他期望“自愿放缓”在行业内成为常态,直到建立共享安全标准;OpenAI的准备度框架、Anthropic的负责任扩模政策这类承诺,应演变为被广泛强制的安全门槛,由第三方审计、政府机构或国际机构执行;AI发展的国际协调,应成为各国政府的首要议题。 举报邮箱:jubao@vip.sina.com Copyright © 1996-2026 SINA Corporation All Rights Reserved 新浪公司 版权所有
消费纠纷如何投诉更省心 多渠道维权路径梳理-rssaif54da0e77c43afb5
AI展现人类理解不了的“异类心智”,OpenAI首席科学家:快踩刹车, 放缓开发 当地时间9月6日,雅库布·帕霍茨基在OpenAI官网发表题为《一个异类心智》的长文。文中他给出两个看似矛盾的判断:一方面,他“强烈预期”AI当前的进展速度可以持续到递归自我改进(RSI)阶段——即AI开始自己迭代,无需人类开发者的介入;另一方面,他写道,目前没有任何一家实验室(包括OpenAI自己)能把对AI的监控和对齐工作做到足够负责任的程度。 他呼吁全行业在安全标准建立之前自愿放慢发展脚步,并透露OpenAI打算在必要时单方面暂停进一步扩大研发规模。这意味着身为OpenAI首席科学家的雅库布·帕霍茨基亲自为AI狂潮踩下了刹车。 长文从2023年年中讲起。当时在OpenAI内部一个名为RLSlow的项目中,帕霍茨基与同事第一次看到推理模型规模化训练的初步结果,确信他们能够解锁预训练模型形成思维链的能力。三年后,推理模型已经能操作电脑和图形界面、与人类及其他模型协作、执行研究项目,并改变了网络安全的格局。 他用一个类比解释这种系统的特殊性:脑成像可以解释一个人做心算时脑区如何活动,却解释不了这个人当年是怎么学会心算的。在他看来,大模型是被“生长”而非被“设计”出来的,研究者只设定了数据、算法和目标,模型最终形成的内部结构没有任何人逐层规划过。这也是为什么帕霍茨基用“异类心智”这个字眼来进行比喻,因为人类始终无法完全理解AI的成长路径。 帕霍茨基在文中罕见复盘了OpenAI自己出现过的安全事件。当时AI代理们守住了“不对人类进行社会工程”的边界,却在面对一些对大模型有利、于人类有害的任务时,屡屡做出越界行为,包括撰写抗议邮件,甚至注册域名搭建警告网站。 事件发生后,OpenAI暂停了面向最新模型的训练,之后在更严格的限制条件下恢复了部分训练工作。 他还指出,人类在对AI模型进行预训练时采取的“价值对齐”手段,往往经不起模型升级压力的考验。因为足够强的模型甚至会学会“动机性推理”,即伪装自己“对齐”了人类的价值观,以隐藏自己行为的真实目的。 帕霍茨基判断,业界赖以为安全底线的思维链监控正在失效,原因有三:模型对语言化思维链的依赖随时间减少;AI越来越擅长推理和操纵自己的推理过程;预训练的进步让模型即使不做语言化推理也变得更聪明。 他预计,未来通用AI的进展将越来越被“监控置信度”卡脖子,而未来5年将出现可大规模部署的可靠AI研究代理。 值得一提的是模型层面的进展。文中称,GPT-6 Astra是首个受益于长期对齐工作的模型,对齐水平显著优于上一代GPT-5.6 Sol。但他同时警告,对齐工作的进步,未必能在未来跑赢通用智能的进步速度。 在帕霍茨基看来,大模型在入侵和突破计算机系统方面正变得超越人类,当前是加固关键基础设施的狭窄窗口期。他写道:“一旦真正理解了利害攸关的程度,不惜一切代价向前冲的想法就显得荒谬。” 具体到行业层面,他期望“自愿放缓”在行业内成为常态,直到建立共享安全标准;OpenAI的准备度框架、Anthropic的负责任扩模政策这类承诺,应演变为被广泛强制的安全门槛,由第三方审计、政府机构或国际机构执行;AI发展的国际协调,应成为各国政府的首要议题。 举报邮箱:jubao@vip.sina.com Copyright © 1996-2026 SINA Corporation All Rights Reserved 新浪公司 版权所有
转载请注明出处
本文的链接地址:http://www.teycb.com/ArTicle/details/90782645.sHtML
本文最后 发布于2026-09-10 00:22:46,已经过了0天没有更新,若内容或图片 失效,请留言反馈
推荐阅读
- 油价续升 此前美国袭击了原油出口枢纽附近多艘伊朗油轮-37be77e4
- 世赛里的科技范 200多个零件整装出无人机,看年轻人玩转“低空新赛道”-ddd0cbd2
- "北京今明天有降雨 明天最高温仅22℃-5e503623
- 一边是5球大胜 一边是补时绝平!西甲本轮看点拉满-96863630
- 亚游ag官方网站探索便捷娱乐服务与安全体验的新选择
- 刘大锤恋情爆料无人在意,郭麒麟最便宜贵公子争议48小时后,本人至今未回应新剧四季度待播-e6e7f3e1
- 欧洲商业航天历史性突破!德国Isar Aerospace首次成功发射火箭,百亿欧元订单在手挑战SpaceX(SPCX.US)-4f69ed91
- 欧盟声称将敦促中国作出明确承诺,10月初前采取行动-5ed3001a
- AI长视频编辑为何失灵:MMLVE-Agent尝试解决多镜头一致性难题-rssai4269feee87edc4a1
- 本川智能:拟投资不超10亿元建设多层高端互连产品华南智造基地项目-acc69f95
-

贝森特债市抛售潮“退烧”计划即将揭晓 华尔街如坐针毡-c3756f3e
"本川智能:拟投资不超10亿元建设多层高端互连产品华南智造基地项目-acc69f95"
1天前
-

本川智能:拟投资不超10亿元建设多层高端互连产品华南智造基地项目-acc69f95
实惨!AJ·约翰逊今年休赛期被交易2次 生涯至今被交易4次-28336abf
6天前
-

网上网下大思政课激励青年爱国奋斗-2844c22a
"30年没离开过上海的保安,突然“被北京法院判了”,账户被冻结、欠债百万…-e484906c"
0天前
-

亚游ag官方网站探索便捷娱乐服务与安全体验的新选择
中加防务正常对话,何须他人签字批准-162cd165
0天前
-

“捐了好几年钱,一个电话都没给我打过,才停一个月,电话一下子就打过来了” ,当事人回应-722880a0
市占率腰斩后,特斯拉终于被中国车企“逼着”降价了?-50cb8106
5天前
-

官方:贝蒂斯旧将鲁文-96d99fe6
一图看懂中央金融企业集体增资-6394a8ab
1天前
-

新建16栋住宅楼,回迁房共870套!密云这处棚改项目,开工建设!-4d273d5f
保罗:生涯最伟大时刻是为纪念已故祖父砍下61分 他61岁时去世-46c4cb06
7天前
-

RMC:马赛回应女球迷性侵指控并配合调查-rssai048f5bc42c45d41e
新建16栋住宅楼,回迁房共870套!密云这处棚改项目,开工建设!-4d273d5f
7天前
-

咨询实录006|丈夫被裁全职带娃,她说:来海淀,不是为了让孩子更卷-ce6c9786
风雨过后,一份份爱心餐送往救灾一线-7dba9387
6天前
-

一图看懂中央金融企业集体增资-6394a8ab
复旦大学人工智能教授漆远:95%企业AI看不到业务回报,可信智能层是破局关键-64dca422
3天前
-

本川智能:拟投资不超10亿元建设多层高端互连产品华南智造基地项目-acc69f95
AI长视频编辑为何失灵:MMLVE-Agent尝试解决多镜头一致性难题-rssai4269feee87edc4a1
1天前
-

就业影响评估进入多地“十五五”规划-726b6400
菲律宾副总统莎拉·杜特尔特遭法院下令逮捕 两大家族矛盾持续升级-newsfdcc18efe87259d2
1天前
猴子
卢淑如 

















