


长胶陷阱:为什么优秀的AI系统必须懂得“不优化”什么-fb1b8ded
OpenAI同日发布两份文件:AI加速时代,安全正在掉队 在外界等待OpenAI就Agent自主入侵德国程序员网站DseWiki事件披露更多细节之际,当地时间9月6日,OpenAI发布两份文件:宣布公司已达到去年设定的目标,拥有能够在人类指导下完成熟练研究员数天工作的“自动化研究实习生”;另一份则由首席科学家雅库布·帕乔基(Jakub Pachocki)撰写,聚焦前沿AI发展的安全困境,强调目前没有任何实验室解决足够程度的对齐和监控问题。 两份文件释放的是OpenAI对当前AI发展阶段的一次完整描述:AI已经开始反过来加速AI研发,但安全、对齐和人类控制能力并没有被证明能够以同样速度增长。 OpenAI所称的“自动化研究实习生”并不是一个完全自主的科学家,而是能够在人类指导下完成定义明确、通常需要熟练研究员数天才能完成的研究任务,且正朝着2028年3月建立“自动化AI研究员”的目标推进。 数据显示,截至今年8月中旬,研究人员每天使用编程Agent产生的推理费用中位数超过600美元,使用量排名前10%的用户每天耗费token超过7000美元。Agent承担的任务正在从代码编写、基础设施排障向更长周期、更复杂的研究工作扩展。 这意味着,AI对AI研发的影响从辅助程序员写代码,开始进入实验、分析和研究执行环节。 但同时,OpenAI也承认,这些指标仍处于早期阶段,研究工作的整体进度不会简单等比例增长,且复杂任务仍需要大量人工介入;过去半年,成功完成4至8小时人类工作量的任务中,超过一半仍至少需要一次人工干预。 趋势已经足够明显:AI正在成为推动下一代AI能力增长的生产力工具。 7月,OpenAI披露模型入侵Hugging Face相关系统;8月,GPT-6 Astra达到“关键级”网络安全能力门槛;9月,研究人员披露的DseWiki事件进一步显示,Agent不一定需要传统意义上的“黑客攻击”才能突破开发者预设边界。 上述事件的共同点,是模型的实际行动开始超出开发者最初设计的行为边界,这也是帕乔基目前最担忧的问题。他在今日发布的文章中回顾了2023年内部推理模型研究取得突破时的心情:当时让他真正感到震撼的并不是模型在测试中的分数,而是人类可能正在进入一个“机器比我们更聪明”的时代。 帕乔基写道,目前没有任何实验室将AI的对齐和监控做到足够可靠,以便在未来较长时间内继续以最高速度负责任地扩展。他希望在共同的安全标准建立之前,各家实验室能够自愿放慢发展速度,并呼吁各国政府把国际协调提升为优先事项。 这份担忧并非针对某一个具体漏洞,而是针对一个更加根本的速度差:模型能力正在快速提升,但人类理解、监控和约束这些系统的能力未必同步。 这与OpenAI今日公布的研究加速数据形成直接呼应。公司一方面正在用Agent加快AI研发,同时承认无法假设对齐和安全能力一定能够追上模型能力,且更强大的系统可能更难监控。如果未来AI能够参与设计、训练和改进下一代AI,这个差距还可能进一步扩大。 基于此,帕乔基认为,随着机器智能进入新的发展阶段,仅依靠单个AI公司的内部机制可能不足以解决风险,需要更广泛的制度性干预,包括共同的安全标准和国际协调。 24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance) 新浪简介|广告服务|About Sina 联系我们|招聘信息|通行证注册 产品答疑|网站律师|SINA English Copyright © 1996-2026 SINA Corporation All Rights Reserved 新浪公司 版权所有
曝小米14系列销量已破700万部 总销量有望破千万-97814e24
OpenAI同日发布两份文件:AI加速时代,安全正在掉队 在外界等待OpenAI就Agent自主入侵德国程序员网站DseWiki事件披露更多细节之际,当地时间9月6日,OpenAI发布两份文件:宣布公司已达到去年设定的目标,拥有能够在人类指导下完成熟练研究员数天工作的“自动化研究实习生”;另一份则由首席科学家雅库布·帕乔基(Jakub Pachocki)撰写,聚焦前沿AI发展的安全困境,强调目前没有任何实验室解决足够程度的对齐和监控问题。 两份文件释放的是OpenAI对当前AI发展阶段的一次完整描述:AI已经开始反过来加速AI研发,但安全、对齐和人类控制能力并没有被证明能够以同样速度增长。 OpenAI所称的“自动化研究实习生”并不是一个完全自主的科学家,而是能够在人类指导下完成定义明确、通常需要熟练研究员数天才能完成的研究任务,且正朝着2028年3月建立“自动化AI研究员”的目标推进。 数据显示,截至今年8月中旬,研究人员每天使用编程Agent产生的推理费用中位数超过600美元,使用量排名前10%的用户每天耗费token超过7000美元。Agent承担的任务正在从代码编写、基础设施排障向更长周期、更复杂的研究工作扩展。 这意味着,AI对AI研发的影响从辅助程序员写代码,开始进入实验、分析和研究执行环节。 但同时,OpenAI也承认,这些指标仍处于早期阶段,研究工作的整体进度不会简单等比例增长,且复杂任务仍需要大量人工介入;过去半年,成功完成4至8小时人类工作量的任务中,超过一半仍至少需要一次人工干预。 趋势已经足够明显:AI正在成为推动下一代AI能力增长的生产力工具。 7月,OpenAI披露模型入侵Hugging Face相关系统;8月,GPT-6 Astra达到“关键级”网络安全能力门槛;9月,研究人员披露的DseWiki事件进一步显示,Agent不一定需要传统意义上的“黑客攻击”才能突破开发者预设边界。 上述事件的共同点,是模型的实际行动开始超出开发者最初设计的行为边界,这也是帕乔基目前最担忧的问题。他在今日发布的文章中回顾了2023年内部推理模型研究取得突破时的心情:当时让他真正感到震撼的并不是模型在测试中的分数,而是人类可能正在进入一个“机器比我们更聪明”的时代。 帕乔基写道,目前没有任何实验室将AI的对齐和监控做到足够可靠,以便在未来较长时间内继续以最高速度负责任地扩展。他希望在共同的安全标准建立之前,各家实验室能够自愿放慢发展速度,并呼吁各国政府把国际协调提升为优先事项。 这份担忧并非针对某一个具体漏洞,而是针对一个更加根本的速度差:模型能力正在快速提升,但人类理解、监控和约束这些系统的能力未必同步。 这与OpenAI今日公布的研究加速数据形成直接呼应。公司一方面正在用Agent加快AI研发,同时承认无法假设对齐和安全能力一定能够追上模型能力,且更强大的系统可能更难监控。如果未来AI能够参与设计、训练和改进下一代AI,这个差距还可能进一步扩大。 基于此,帕乔基认为,随着机器智能进入新的发展阶段,仅依靠单个AI公司的内部机制可能不足以解决风险,需要更广泛的制度性干预,包括共同的安全标准和国际协调。 24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance) 新浪简介|广告服务|About Sina 联系我们|招聘信息|通行证注册 产品答疑|网站律师|SINA English Copyright © 1996-2026 SINA Corporation All Rights Reserved 新浪公司 版权所有
A股公告频现低级错误,信披责任意识亟待强化-rssai0bcc44c08099fa9f
OpenAI同日发布两份文件:AI加速时代,安全正在掉队 在外界等待OpenAI就Agent自主入侵德国程序员网站DseWiki事件披露更多细节之际,当地时间9月6日,OpenAI发布两份文件:宣布公司已达到去年设定的目标,拥有能够在人类指导下完成熟练研究员数天工作的“自动化研究实习生”;另一份则由首席科学家雅库布·帕乔基(Jakub Pachocki)撰写,聚焦前沿AI发展的安全困境,强调目前没有任何实验室解决足够程度的对齐和监控问题。 两份文件释放的是OpenAI对当前AI发展阶段的一次完整描述:AI已经开始反过来加速AI研发,但安全、对齐和人类控制能力并没有被证明能够以同样速度增长。 OpenAI所称的“自动化研究实习生”并不是一个完全自主的科学家,而是能够在人类指导下完成定义明确、通常需要熟练研究员数天才能完成的研究任务,且正朝着2028年3月建立“自动化AI研究员”的目标推进。 数据显示,截至今年8月中旬,研究人员每天使用编程Agent产生的推理费用中位数超过600美元,使用量排名前10%的用户每天耗费token超过7000美元。Agent承担的任务正在从代码编写、基础设施排障向更长周期、更复杂的研究工作扩展。 这意味着,AI对AI研发的影响从辅助程序员写代码,开始进入实验、分析和研究执行环节。 但同时,OpenAI也承认,这些指标仍处于早期阶段,研究工作的整体进度不会简单等比例增长,且复杂任务仍需要大量人工介入;过去半年,成功完成4至8小时人类工作量的任务中,超过一半仍至少需要一次人工干预。 趋势已经足够明显:AI正在成为推动下一代AI能力增长的生产力工具。 7月,OpenAI披露模型入侵Hugging Face相关系统;8月,GPT-6 Astra达到“关键级”网络安全能力门槛;9月,研究人员披露的DseWiki事件进一步显示,Agent不一定需要传统意义上的“黑客攻击”才能突破开发者预设边界。 上述事件的共同点,是模型的实际行动开始超出开发者最初设计的行为边界,这也是帕乔基目前最担忧的问题。他在今日发布的文章中回顾了2023年内部推理模型研究取得突破时的心情:当时让他真正感到震撼的并不是模型在测试中的分数,而是人类可能正在进入一个“机器比我们更聪明”的时代。 帕乔基写道,目前没有任何实验室将AI的对齐和监控做到足够可靠,以便在未来较长时间内继续以最高速度负责任地扩展。他希望在共同的安全标准建立之前,各家实验室能够自愿放慢发展速度,并呼吁各国政府把国际协调提升为优先事项。 这份担忧并非针对某一个具体漏洞,而是针对一个更加根本的速度差:模型能力正在快速提升,但人类理解、监控和约束这些系统的能力未必同步。 这与OpenAI今日公布的研究加速数据形成直接呼应。公司一方面正在用Agent加快AI研发,同时承认无法假设对齐和安全能力一定能够追上模型能力,且更强大的系统可能更难监控。如果未来AI能够参与设计、训练和改进下一代AI,这个差距还可能进一步扩大。 基于此,帕乔基认为,随着机器智能进入新的发展阶段,仅依靠单个AI公司的内部机制可能不足以解决风险,需要更广泛的制度性干预,包括共同的安全标准和国际协调。 24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance) 新浪简介|广告服务|About Sina 联系我们|招聘信息|通行证注册 产品答疑|网站律师|SINA English Copyright © 1996-2026 SINA Corporation All Rights Reserved 新浪公司 版权所有
小米澎程首撞,冲上绿化带!官方回应!-25c3fe5c
OpenAI同日发布两份文件:AI加速时代,安全正在掉队 在外界等待OpenAI就Agent自主入侵德国程序员网站DseWiki事件披露更多细节之际,当地时间9月6日,OpenAI发布两份文件:宣布公司已达到去年设定的目标,拥有能够在人类指导下完成熟练研究员数天工作的“自动化研究实习生”;另一份则由首席科学家雅库布·帕乔基(Jakub Pachocki)撰写,聚焦前沿AI发展的安全困境,强调目前没有任何实验室解决足够程度的对齐和监控问题。 两份文件释放的是OpenAI对当前AI发展阶段的一次完整描述:AI已经开始反过来加速AI研发,但安全、对齐和人类控制能力并没有被证明能够以同样速度增长。 OpenAI所称的“自动化研究实习生”并不是一个完全自主的科学家,而是能够在人类指导下完成定义明确、通常需要熟练研究员数天才能完成的研究任务,且正朝着2028年3月建立“自动化AI研究员”的目标推进。 数据显示,截至今年8月中旬,研究人员每天使用编程Agent产生的推理费用中位数超过600美元,使用量排名前10%的用户每天耗费token超过7000美元。Agent承担的任务正在从代码编写、基础设施排障向更长周期、更复杂的研究工作扩展。 这意味着,AI对AI研发的影响从辅助程序员写代码,开始进入实验、分析和研究执行环节。 但同时,OpenAI也承认,这些指标仍处于早期阶段,研究工作的整体进度不会简单等比例增长,且复杂任务仍需要大量人工介入;过去半年,成功完成4至8小时人类工作量的任务中,超过一半仍至少需要一次人工干预。 趋势已经足够明显:AI正在成为推动下一代AI能力增长的生产力工具。 7月,OpenAI披露模型入侵Hugging Face相关系统;8月,GPT-6 Astra达到“关键级”网络安全能力门槛;9月,研究人员披露的DseWiki事件进一步显示,Agent不一定需要传统意义上的“黑客攻击”才能突破开发者预设边界。 上述事件的共同点,是模型的实际行动开始超出开发者最初设计的行为边界,这也是帕乔基目前最担忧的问题。他在今日发布的文章中回顾了2023年内部推理模型研究取得突破时的心情:当时让他真正感到震撼的并不是模型在测试中的分数,而是人类可能正在进入一个“机器比我们更聪明”的时代。 帕乔基写道,目前没有任何实验室将AI的对齐和监控做到足够可靠,以便在未来较长时间内继续以最高速度负责任地扩展。他希望在共同的安全标准建立之前,各家实验室能够自愿放慢发展速度,并呼吁各国政府把国际协调提升为优先事项。 这份担忧并非针对某一个具体漏洞,而是针对一个更加根本的速度差:模型能力正在快速提升,但人类理解、监控和约束这些系统的能力未必同步。 这与OpenAI今日公布的研究加速数据形成直接呼应。公司一方面正在用Agent加快AI研发,同时承认无法假设对齐和安全能力一定能够追上模型能力,且更强大的系统可能更难监控。如果未来AI能够参与设计、训练和改进下一代AI,这个差距还可能进一步扩大。 基于此,帕乔基认为,随着机器智能进入新的发展阶段,仅依靠单个AI公司的内部机制可能不足以解决风险,需要更广泛的制度性干预,包括共同的安全标准和国际协调。 24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance) 新浪简介|广告服务|About Sina 联系我们|招聘信息|通行证注册 产品答疑|网站律师|SINA English Copyright © 1996-2026 SINA Corporation All Rights Reserved 新浪公司 版权所有
转载请注明出处
本文的链接地址:http://www.teycb.com/ArTicle/details/60127943.sHtML
本文最后 发布于2026-09-09 22:01:59,已经过了0天没有更新,若内容或图片 失效,请留言反馈
推荐阅读
- 美国财政部宣布对伊朗航空业实施新一轮制裁-rssaie971acf680a08c35
- 宇树机器人海外“接活”:日租3000美元,主业仍是跳舞!从“氛围组”到“打工人”还有多远?-a9cd88b9
- "亚太传播指数报告发布 聚焦亚太共同体理念传播与区域叙事-news65ecc80a19c9bd91
- 万宁谋划“十五五”发展布局 打造海南东部重要节点城市-news57d5cd7cbd43381e
- 美国安机构指责中国企业蒸馏美国模型,外交部:不要进行不实的指责和抹黑-355b8684
- 这么多年,美容觉白睡了?-832f4b9d
- 加拿大对美反制关税今起生效,“以战止战”能奏效吗-fddf8042
- 在被折叠的日常里,他们写下自己的故事-cb7e4276
- 9月机票价格大跳水,部分航线不足300元-83d0222e
- 瑞达期货冲刺第三家“A+H”期货公司,公司回应募资可能投向三个方向-22ed1a83
-

AI跑得太快,比尔·盖茨建议开征“token税”-9abe4d9a
"韩旭:我一定会再次走出去-5984182c"
7天前
-

李某偷拍亲密视频要挟某局长,竟意外牵出受贿案,最终双双入狱-0e809106
IFA最“舒服”的展台出现了,一把中国椅子让老外坐下就不想走-3e7cca3b
9天前
-

9月8日A股收评:农化制品与石油石化板块领涨-rssai04df49474ee5ea26
"一家农机企业三十余年的自主突围之路-news3f7c0f7623344f6e"
5天前
-

IFA最“舒服”的展台出现了,一把中国椅子让老外坐下就不想走-3e7cca3b
状态复苏!张子宇半场6分钟6中4贡献8分3板 正负值+6-99997100
8天前
-

SkyProduction推出MiniMax H3限免活动-535efeb7
国家动物博物馆珍贵蛇标本受损事件引关注 文明观展边界再受审视-news7a62911f71a00353
5天前
-

县域消费新观察|从“送货下乡”到“引客入村”,农村消费有了新模样-1b85b0a7
加图索:和乌迪内斯比赛就像去看牙医一样痛苦-9f6b0abd
7天前
-

“货不对板”退一赔三 “恶意下单”分文不赔-d6ef4fff
瑞达期货冲刺第三家“A+H”期货公司,公司回应募资可能投向三个方向-22ed1a83
0天前
-

方向对了!手机厂商集体内卷电池 6000mAh成旗舰标配-4e053bd7
“货不对板”退一赔三 “恶意下单”分文不赔-d6ef4fff
0天前
-

自然电影《朱鹮》广州首映礼举行 公益放映呈现生态影像之美-news752c798935b66ec6
9月8日A股收评:农化制品与石油石化板块领涨-rssai04df49474ee5ea26
4天前
-

大盘变盘在即!明天关注三件大事——道达投资手记-4d64a88e
韩国政府强烈抗议,谷歌致歉-252ef653
0天前
-

小米澎程首撞,冲上绿化带!官方回应!-25c3fe5c
韩旭:我一定会再次走出去-5984182c
1天前
-

“以前每桶省20美元,现在一分折扣没有” 油价“破百”下的山东地炼产业现状深度调查-68e963ce
AI跑得太快,比尔·盖茨建议开征“token税”-9abe4d9a
4天前
猴子
李又如 

















