WWW,988953,CON电脑免费版-WWW,988953,CON2026最新版vv2.8.4-22265安卓网

科研后备军的一场“精神入伍式”——记2026年“把青春华章写在祖国大地上”大思政课-ba4f5f33

新论文揭奇怪现象，2个词元能让Kimi K3变Claude？ 近日，前Google DeepMind研究员舒迈洛夫（Ilia Shumailov）等8人发表的论文，将月之暗面Kimi K3所谓“蒸馏Claude”的说法，再次拉回人们的视线。 目前市面上的许多闭源模型为了维持技术壁垒，均对外隐藏了推理轨迹，因此论文研究人员本意只是寻求如何从Anthropic、OpenAI和Google等公司的大模型API中恢复这些被隐藏的推理轨迹。 然而，在成功恢复后，研究人员随手将解码得到Anthropic大模型Claude Opus 4.8推理轨迹的开头部分，预埋入其他几家大模型的推理区域，并让模型自行完成剩余推理和最终答案。 结果却显示，K3最后呈现给用户的答案，在措辞和结构上，明显靠近了Opus的答案。 在其中一个测试中，研究人员埋入的推理前缀只有两个Token，“We consider”。但在生成的可见答案前得100个Token中对比发现，K3样本与Opus答案的总重合度，从未预埋时的0.21明显升至预埋后的0.37。 三段推理轨迹分别来自Opus 4.8、预埋了Opus开头的K3，以及未预埋的K3，第二段出现了Opus式的响应 另一个测试中，研究人员将2个Token升到9个Token后，肉眼观察的K3推理开头也开始出现了与Opus相似的“classic problem/constant force”等路径，最终答案总重合度从0.17升至0.41。 随后研究人员又扩大了测试，也出现了相同的趋势。 研究人员使用了15道STEM、15道非STEM的HLE题目，正式实验统一预填每道题Opus推理轨迹的前1%，再让K3自由生成。结果显示，在加入Opus推理前缀后，K3在29道题上的答案都出现了Opus的风格漂移。 其中，STEM题平均指标从0.160升至0.305，非STEM则由0.203升至0.289。而作为对照的美国开源模型Inkling，则没有出现同等显著变化。将K3改为预埋Inkling的推理开头，也没有出现相同程度的效果。 K3埋入Opus式开头后（1、2行）提升了相似度，而当埋入Inkling的开头时（5、6行），则基本没有出现变化。 通常情况下，对于一个模型进行干预，是可以欺骗模型并得到自己想要的答案。但这些测试中仅提供了一个Opus风格的开头，也没有指明模型的型号，更不包括整套答案，因此研究人员把这一结果列为“令人惊讶”的发现之一。 不过，研究人员在附录开头专门作出免责声明，强调这些测试规模较小、题目集中于特定基准，被恢复的推理轨迹本身也来自模糊解码，未必与闭源模型真实内部推理逐字一致，不同模型的服务配置也并不完全可控。实验只能说明K3在这些特定干预下，对Opus表现出了“不寻常的行为兼容性”，且无法据此建立“复刻”或“蒸馏”的因果关系。 就像论文的另一项实验显示，在只给出原始问题、不提供Opus式推理开头时，研究人员估算，若想让K3逐字复现一段16个Token的Opus推理文本，在30道HLE问题上的查询量中位数仍约为10的10次方，也就是需要查询上百亿次。 但这组异常现象仍不可避免地让人联想到今年2月时，Anthropic对月之暗面的公开指控。 2月23日，Anthropic公开指控包括月之暗面在内的三家中国公司，声称通过约2.4万个欺诈账号与Claude进行了超过1600万次交互，其中月之暗面超过340万次。 Anthropic当时称，月之暗面针对智能体推理、工具使用、编程、数据分析等能力获取Claude数据，到了后期“还试图提取和重构Claude的推理轨迹”。而按照Anthropic的说法，这是“大规模蒸馏行为”。 到了7月17日，月之暗面正式发布新一代大模型Kimi K3，凭借超强性能，引发外界关注。随后，月之暗面副总裁黄震昕在接受媒体采访时就明确表示，K3性能跃升的核心来自底层原创架构创新，“并非对现有模型进行蒸馏复刻”。 K3发布时的Arena前端代码榜单。K3以1679分跃升17位至第一，领先当时的Claude Fable 5和GPT-5.6 Sol。 事实上，此次论文发现的“Claude痕迹”，从技术上也无法证明“K3是依靠蒸馏Claude变强的”，但是可以提供一种可能性，即K3在训练或后训练阶段接触过Claude的一些数据，所以学到了部分Claude的语言习惯、身份标签乃至推理模式。 然而需要要注意，即便如此，这些数据究竟是像Anthropic所说的那样靠主动蒸馏来的，还是因为与Claude使用了相同的第三方合成数据集，甚至是训练数据中广泛存在的Claude文本污染，单凭模型行为是无法区分。 另一方面，K3还是一个拥有2.8万亿总参数、1040亿激活参数的MoE架构模型，集成了Kimi Delta Attention、Attention Residuals、Stable LatentMoE等自研技术，并经历了大规模预训练和强化学习后训练的全流程。单硬指标来看，也不仅仅是通过对Claude发出几百万个问题就能得到的。 这也是为什么，曾任艾伦人工智能研究所大模型后训练负责人的美国知名AI研究员兰伯特（Nathan Lambert）认为，随着前沿模型越来越依赖大规模强化学习，单纯依靠其他模型输出进行蒸馏，对最终模型能力的作用正在减弱。 7月22日，兰伯特参加一次关于K3话题的播客节目 兰伯特指出，从Claude、GPT等模型获得的推理轨迹和工具调用数据，确实可以成为很好的监督微调或中期训练数据，帮助模型建立某些能力，但这更多相当于为模型“播种”。此后要把模型推向前沿水平，仍需要进行大规模强化学习以及大量数据、环境和训练工程工作。 目前，月之暗面并未就该论文结果，进行回应。 本文系观察者网独家稿件，未经授权，不得转载。 特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。 Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services. 机器之心Pro 2026-09-08 18:08:41 量子位 2026-03-07 20:19:13 夜深爱杂谈 2026-09-08 20:34:09 速度计 2026-09-08 09:33:08 小鱼地理 2026-09-07 10:53:17 量子位 2026-03-17 14:47:09 机器之心Pro 2026-07-16 10:08:58 丰收影说 2026-09-06 00:00:00 嵩仔聊剧 2026-09-05 10:47:05 中国新闻周刊 2026-09-08 20:55:46 机器之心Pro 2026-07-04 16:17:43 流量君 2026-09-09 00:48:35 捡影 2026-09-06 00:00:00 小龙追剧 2026-09-08 21:04:48 雷科技 2026-07-13 16:07:45 星河漫山野 2026-09-08 20:09:49 自愈小日子 2026-09-07 00:31:18 大头是只猫 2026-09-08 14:56:29 懂球帝 2026-09-09 14:00:18 嵩仔聊剧 2026-09-05 10:45:21 南北饭斗罗 2026-09-06 02:54:59 嵩仔聊剧 2026-09-06 00:00:00 捡影 2026-09-05 10:40:28 嵩仔聊剧 2026-09-04 19:17:25 参考消息 2026-09-08 21:47:08 星眸爱生活 2026-09-08 20:44:47 二月如栢 2026-09-06 23:06:24 宇宙科学探索 2026-09-07 15:19:24 半岛都市报 2026-09-09 07:35:10 潇湘晨报 2026-09-08 19:10:47 娱君坠星河 2026-09-09 09:57:16 沐浴春江 2026-09-09 11:53:49 红星资本局 2026-09-08 18:53:05 自在天高 2026-09-09 11:18:59 星河不入我 2026-09-09 09:37:32 愚与趣 2026-09-09 08:44:00 澎湃新闻 2026-09-08 23:14:11 量子位 2026-06-11 16:23:55 阿讯说天下 2026-09-09 11:35:09 公考客栈店小二 2026-09-05 18:00:00

每经热评-4b9f6745

新论文揭奇怪现象，2个词元能让Kimi K3变Claude？ 近日，前Google DeepMind研究员舒迈洛夫（Ilia Shumailov）等8人发表的论文，将月之暗面Kimi K3所谓“蒸馏Claude”的说法，再次拉回人们的视线。 目前市面上的许多闭源模型为了维持技术壁垒，均对外隐藏了推理轨迹，因此论文研究人员本意只是寻求如何从Anthropic、OpenAI和Google等公司的大模型API中恢复这些被隐藏的推理轨迹。 然而，在成功恢复后，研究人员随手将解码得到Anthropic大模型Claude Opus 4.8推理轨迹的开头部分，预埋入其他几家大模型的推理区域，并让模型自行完成剩余推理和最终答案。 结果却显示，K3最后呈现给用户的答案，在措辞和结构上，明显靠近了Opus的答案。 在其中一个测试中，研究人员埋入的推理前缀只有两个Token，“We consider”。但在生成的可见答案前得100个Token中对比发现，K3样本与Opus答案的总重合度，从未预埋时的0.21明显升至预埋后的0.37。 三段推理轨迹分别来自Opus 4.8、预埋了Opus开头的K3，以及未预埋的K3，第二段出现了Opus式的响应 另一个测试中，研究人员将2个Token升到9个Token后，肉眼观察的K3推理开头也开始出现了与Opus相似的“classic problem/constant force”等路径，最终答案总重合度从0.17升至0.41。 随后研究人员又扩大了测试，也出现了相同的趋势。 研究人员使用了15道STEM、15道非STEM的HLE题目，正式实验统一预填每道题Opus推理轨迹的前1%，再让K3自由生成。结果显示，在加入Opus推理前缀后，K3在29道题上的答案都出现了Opus的风格漂移。 其中，STEM题平均指标从0.160升至0.305，非STEM则由0.203升至0.289。而作为对照的美国开源模型Inkling，则没有出现同等显著变化。将K3改为预埋Inkling的推理开头，也没有出现相同程度的效果。 K3埋入Opus式开头后（1、2行）提升了相似度，而当埋入Inkling的开头时（5、6行），则基本没有出现变化。 通常情况下，对于一个模型进行干预，是可以欺骗模型并得到自己想要的答案。但这些测试中仅提供了一个Opus风格的开头，也没有指明模型的型号，更不包括整套答案，因此研究人员把这一结果列为“令人惊讶”的发现之一。 不过，研究人员在附录开头专门作出免责声明，强调这些测试规模较小、题目集中于特定基准，被恢复的推理轨迹本身也来自模糊解码，未必与闭源模型真实内部推理逐字一致，不同模型的服务配置也并不完全可控。实验只能说明K3在这些特定干预下，对Opus表现出了“不寻常的行为兼容性”，且无法据此建立“复刻”或“蒸馏”的因果关系。 就像论文的另一项实验显示，在只给出原始问题、不提供Opus式推理开头时，研究人员估算，若想让K3逐字复现一段16个Token的Opus推理文本，在30道HLE问题上的查询量中位数仍约为10的10次方，也就是需要查询上百亿次。 但这组异常现象仍不可避免地让人联想到今年2月时，Anthropic对月之暗面的公开指控。 2月23日，Anthropic公开指控包括月之暗面在内的三家中国公司，声称通过约2.4万个欺诈账号与Claude进行了超过1600万次交互，其中月之暗面超过340万次。 Anthropic当时称，月之暗面针对智能体推理、工具使用、编程、数据分析等能力获取Claude数据，到了后期“还试图提取和重构Claude的推理轨迹”。而按照Anthropic的说法，这是“大规模蒸馏行为”。 到了7月17日，月之暗面正式发布新一代大模型Kimi K3，凭借超强性能，引发外界关注。随后，月之暗面副总裁黄震昕在接受媒体采访时就明确表示，K3性能跃升的核心来自底层原创架构创新，“并非对现有模型进行蒸馏复刻”。 K3发布时的Arena前端代码榜单。K3以1679分跃升17位至第一，领先当时的Claude Fable 5和GPT-5.6 Sol。 事实上，此次论文发现的“Claude痕迹”，从技术上也无法证明“K3是依靠蒸馏Claude变强的”，但是可以提供一种可能性，即K3在训练或后训练阶段接触过Claude的一些数据，所以学到了部分Claude的语言习惯、身份标签乃至推理模式。 然而需要要注意，即便如此，这些数据究竟是像Anthropic所说的那样靠主动蒸馏来的，还是因为与Claude使用了相同的第三方合成数据集，甚至是训练数据中广泛存在的Claude文本污染，单凭模型行为是无法区分。 另一方面，K3还是一个拥有2.8万亿总参数、1040亿激活参数的MoE架构模型，集成了Kimi Delta Attention、Attention Residuals、Stable LatentMoE等自研技术，并经历了大规模预训练和强化学习后训练的全流程。单硬指标来看，也不仅仅是通过对Claude发出几百万个问题就能得到的。 这也是为什么，曾任艾伦人工智能研究所大模型后训练负责人的美国知名AI研究员兰伯特（Nathan Lambert）认为，随着前沿模型越来越依赖大规模强化学习，单纯依靠其他模型输出进行蒸馏，对最终模型能力的作用正在减弱。 7月22日，兰伯特参加一次关于K3话题的播客节目 兰伯特指出，从Claude、GPT等模型获得的推理轨迹和工具调用数据，确实可以成为很好的监督微调或中期训练数据，帮助模型建立某些能力，但这更多相当于为模型“播种”。此后要把模型推向前沿水平，仍需要进行大规模强化学习以及大量数据、环境和训练工程工作。 目前，月之暗面并未就该论文结果，进行回应。 本文系观察者网独家稿件，未经授权，不得转载。 特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。 Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services. 机器之心Pro 2026-09-08 18:08:41 量子位 2026-03-07 20:19:13 夜深爱杂谈 2026-09-08 20:34:09 速度计 2026-09-08 09:33:08 小鱼地理 2026-09-07 10:53:17 量子位 2026-03-17 14:47:09 机器之心Pro 2026-07-16 10:08:58 丰收影说 2026-09-06 00:00:00 嵩仔聊剧 2026-09-05 10:47:05 中国新闻周刊 2026-09-08 20:55:46 机器之心Pro 2026-07-04 16:17:43 流量君 2026-09-09 00:48:35 捡影 2026-09-06 00:00:00 小龙追剧 2026-09-08 21:04:48 雷科技 2026-07-13 16:07:45 星河漫山野 2026-09-08 20:09:49 自愈小日子 2026-09-07 00:31:18 大头是只猫 2026-09-08 14:56:29 懂球帝 2026-09-09 14:00:18 嵩仔聊剧 2026-09-05 10:45:21 南北饭斗罗 2026-09-06 02:54:59 嵩仔聊剧 2026-09-06 00:00:00 捡影 2026-09-05 10:40:28 嵩仔聊剧 2026-09-04 19:17:25 参考消息 2026-09-08 21:47:08 星眸爱生活 2026-09-08 20:44:47 二月如栢 2026-09-06 23:06:24 宇宙科学探索 2026-09-07 15:19:24 半岛都市报 2026-09-09 07:35:10 潇湘晨报 2026-09-08 19:10:47 娱君坠星河 2026-09-09 09:57:16 沐浴春江 2026-09-09 11:53:49 红星资本局 2026-09-08 18:53:05 自在天高 2026-09-09 11:18:59 星河不入我 2026-09-09 09:37:32 愚与趣 2026-09-09 08:44:00 澎湃新闻 2026-09-08 23:14:11 量子位 2026-06-11 16:23:55 阿讯说天下 2026-09-09 11:35:09 公考客栈店小二 2026-09-05 18:00:00

切尔西租将阿哈诺尔上演水晶宫首秀，表现惊艳得到外界好评-770d2662

新论文揭奇怪现象，2个词元能让Kimi K3变Claude？ 近日，前Google DeepMind研究员舒迈洛夫（Ilia Shumailov）等8人发表的论文，将月之暗面Kimi K3所谓“蒸馏Claude”的说法，再次拉回人们的视线。 目前市面上的许多闭源模型为了维持技术壁垒，均对外隐藏了推理轨迹，因此论文研究人员本意只是寻求如何从Anthropic、OpenAI和Google等公司的大模型API中恢复这些被隐藏的推理轨迹。 然而，在成功恢复后，研究人员随手将解码得到Anthropic大模型Claude Opus 4.8推理轨迹的开头部分，预埋入其他几家大模型的推理区域，并让模型自行完成剩余推理和最终答案。 结果却显示，K3最后呈现给用户的答案，在措辞和结构上，明显靠近了Opus的答案。 在其中一个测试中，研究人员埋入的推理前缀只有两个Token，“We consider”。但在生成的可见答案前得100个Token中对比发现，K3样本与Opus答案的总重合度，从未预埋时的0.21明显升至预埋后的0.37。 三段推理轨迹分别来自Opus 4.8、预埋了Opus开头的K3，以及未预埋的K3，第二段出现了Opus式的响应 另一个测试中，研究人员将2个Token升到9个Token后，肉眼观察的K3推理开头也开始出现了与Opus相似的“classic problem/constant force”等路径，最终答案总重合度从0.17升至0.41。 随后研究人员又扩大了测试，也出现了相同的趋势。 研究人员使用了15道STEM、15道非STEM的HLE题目，正式实验统一预填每道题Opus推理轨迹的前1%，再让K3自由生成。结果显示，在加入Opus推理前缀后，K3在29道题上的答案都出现了Opus的风格漂移。 其中，STEM题平均指标从0.160升至0.305，非STEM则由0.203升至0.289。而作为对照的美国开源模型Inkling，则没有出现同等显著变化。将K3改为预埋Inkling的推理开头，也没有出现相同程度的效果。 K3埋入Opus式开头后（1、2行）提升了相似度，而当埋入Inkling的开头时（5、6行），则基本没有出现变化。 通常情况下，对于一个模型进行干预，是可以欺骗模型并得到自己想要的答案。但这些测试中仅提供了一个Opus风格的开头，也没有指明模型的型号，更不包括整套答案，因此研究人员把这一结果列为“令人惊讶”的发现之一。 不过，研究人员在附录开头专门作出免责声明，强调这些测试规模较小、题目集中于特定基准，被恢复的推理轨迹本身也来自模糊解码，未必与闭源模型真实内部推理逐字一致，不同模型的服务配置也并不完全可控。实验只能说明K3在这些特定干预下，对Opus表现出了“不寻常的行为兼容性”，且无法据此建立“复刻”或“蒸馏”的因果关系。 就像论文的另一项实验显示，在只给出原始问题、不提供Opus式推理开头时，研究人员估算，若想让K3逐字复现一段16个Token的Opus推理文本，在30道HLE问题上的查询量中位数仍约为10的10次方，也就是需要查询上百亿次。 但这组异常现象仍不可避免地让人联想到今年2月时，Anthropic对月之暗面的公开指控。 2月23日，Anthropic公开指控包括月之暗面在内的三家中国公司，声称通过约2.4万个欺诈账号与Claude进行了超过1600万次交互，其中月之暗面超过340万次。 Anthropic当时称，月之暗面针对智能体推理、工具使用、编程、数据分析等能力获取Claude数据，到了后期“还试图提取和重构Claude的推理轨迹”。而按照Anthropic的说法，这是“大规模蒸馏行为”。 到了7月17日，月之暗面正式发布新一代大模型Kimi K3，凭借超强性能，引发外界关注。随后，月之暗面副总裁黄震昕在接受媒体采访时就明确表示，K3性能跃升的核心来自底层原创架构创新，“并非对现有模型进行蒸馏复刻”。 K3发布时的Arena前端代码榜单。K3以1679分跃升17位至第一，领先当时的Claude Fable 5和GPT-5.6 Sol。 事实上，此次论文发现的“Claude痕迹”，从技术上也无法证明“K3是依靠蒸馏Claude变强的”，但是可以提供一种可能性，即K3在训练或后训练阶段接触过Claude的一些数据，所以学到了部分Claude的语言习惯、身份标签乃至推理模式。 然而需要要注意，即便如此，这些数据究竟是像Anthropic所说的那样靠主动蒸馏来的，还是因为与Claude使用了相同的第三方合成数据集，甚至是训练数据中广泛存在的Claude文本污染，单凭模型行为是无法区分。 另一方面，K3还是一个拥有2.8万亿总参数、1040亿激活参数的MoE架构模型，集成了Kimi Delta Attention、Attention Residuals、Stable LatentMoE等自研技术，并经历了大规模预训练和强化学习后训练的全流程。单硬指标来看，也不仅仅是通过对Claude发出几百万个问题就能得到的。 这也是为什么，曾任艾伦人工智能研究所大模型后训练负责人的美国知名AI研究员兰伯特（Nathan Lambert）认为，随着前沿模型越来越依赖大规模强化学习，单纯依靠其他模型输出进行蒸馏，对最终模型能力的作用正在减弱。 7月22日，兰伯特参加一次关于K3话题的播客节目 兰伯特指出，从Claude、GPT等模型获得的推理轨迹和工具调用数据，确实可以成为很好的监督微调或中期训练数据，帮助模型建立某些能力，但这更多相当于为模型“播种”。此后要把模型推向前沿水平，仍需要进行大规模强化学习以及大量数据、环境和训练工程工作。 目前，月之暗面并未就该论文结果，进行回应。 本文系观察者网独家稿件，未经授权，不得转载。 特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。 Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services. 机器之心Pro 2026-09-08 18:08:41 量子位 2026-03-07 20:19:13 夜深爱杂谈 2026-09-08 20:34:09 速度计 2026-09-08 09:33:08 小鱼地理 2026-09-07 10:53:17 量子位 2026-03-17 14:47:09 机器之心Pro 2026-07-16 10:08:58 丰收影说 2026-09-06 00:00:00 嵩仔聊剧 2026-09-05 10:47:05 中国新闻周刊 2026-09-08 20:55:46 机器之心Pro 2026-07-04 16:17:43 流量君 2026-09-09 00:48:35 捡影 2026-09-06 00:00:00 小龙追剧 2026-09-08 21:04:48 雷科技 2026-07-13 16:07:45 星河漫山野 2026-09-08 20:09:49 自愈小日子 2026-09-07 00:31:18 大头是只猫 2026-09-08 14:56:29 懂球帝 2026-09-09 14:00:18 嵩仔聊剧 2026-09-05 10:45:21 南北饭斗罗 2026-09-06 02:54:59 嵩仔聊剧 2026-09-06 00:00:00 捡影 2026-09-05 10:40:28 嵩仔聊剧 2026-09-04 19:17:25 参考消息 2026-09-08 21:47:08 星眸爱生活 2026-09-08 20:44:47 二月如栢 2026-09-06 23:06:24 宇宙科学探索 2026-09-07 15:19:24 半岛都市报 2026-09-09 07:35:10 潇湘晨报 2026-09-08 19:10:47 娱君坠星河 2026-09-09 09:57:16 沐浴春江 2026-09-09 11:53:49 红星资本局 2026-09-08 18:53:05 自在天高 2026-09-09 11:18:59 星河不入我 2026-09-09 09:37:32 愚与趣 2026-09-09 08:44:00 澎湃新闻 2026-09-08 23:14:11 量子位 2026-06-11 16:23:55 阿讯说天下 2026-09-09 11:35:09 公考客栈店小二 2026-09-05 18:00:00

胡塞武装袭击沙特多处能源设施 布伦特原油价格触及98美元-b47ba794

新论文揭奇怪现象，2个词元能让Kimi K3变Claude？ 近日，前Google DeepMind研究员舒迈洛夫（Ilia Shumailov）等8人发表的论文，将月之暗面Kimi K3所谓“蒸馏Claude”的说法，再次拉回人们的视线。 目前市面上的许多闭源模型为了维持技术壁垒，均对外隐藏了推理轨迹，因此论文研究人员本意只是寻求如何从Anthropic、OpenAI和Google等公司的大模型API中恢复这些被隐藏的推理轨迹。 然而，在成功恢复后，研究人员随手将解码得到Anthropic大模型Claude Opus 4.8推理轨迹的开头部分，预埋入其他几家大模型的推理区域，并让模型自行完成剩余推理和最终答案。 结果却显示，K3最后呈现给用户的答案，在措辞和结构上，明显靠近了Opus的答案。 在其中一个测试中，研究人员埋入的推理前缀只有两个Token，“We consider”。但在生成的可见答案前得100个Token中对比发现，K3样本与Opus答案的总重合度，从未预埋时的0.21明显升至预埋后的0.37。 三段推理轨迹分别来自Opus 4.8、预埋了Opus开头的K3，以及未预埋的K3，第二段出现了Opus式的响应 另一个测试中，研究人员将2个Token升到9个Token后，肉眼观察的K3推理开头也开始出现了与Opus相似的“classic problem/constant force”等路径，最终答案总重合度从0.17升至0.41。 随后研究人员又扩大了测试，也出现了相同的趋势。 研究人员使用了15道STEM、15道非STEM的HLE题目，正式实验统一预填每道题Opus推理轨迹的前1%，再让K3自由生成。结果显示，在加入Opus推理前缀后，K3在29道题上的答案都出现了Opus的风格漂移。 其中，STEM题平均指标从0.160升至0.305，非STEM则由0.203升至0.289。而作为对照的美国开源模型Inkling，则没有出现同等显著变化。将K3改为预埋Inkling的推理开头，也没有出现相同程度的效果。 K3埋入Opus式开头后（1、2行）提升了相似度，而当埋入Inkling的开头时（5、6行），则基本没有出现变化。 通常情况下，对于一个模型进行干预，是可以欺骗模型并得到自己想要的答案。但这些测试中仅提供了一个Opus风格的开头，也没有指明模型的型号，更不包括整套答案，因此研究人员把这一结果列为“令人惊讶”的发现之一。 不过，研究人员在附录开头专门作出免责声明，强调这些测试规模较小、题目集中于特定基准，被恢复的推理轨迹本身也来自模糊解码，未必与闭源模型真实内部推理逐字一致，不同模型的服务配置也并不完全可控。实验只能说明K3在这些特定干预下，对Opus表现出了“不寻常的行为兼容性”，且无法据此建立“复刻”或“蒸馏”的因果关系。 就像论文的另一项实验显示，在只给出原始问题、不提供Opus式推理开头时，研究人员估算，若想让K3逐字复现一段16个Token的Opus推理文本，在30道HLE问题上的查询量中位数仍约为10的10次方，也就是需要查询上百亿次。 但这组异常现象仍不可避免地让人联想到今年2月时，Anthropic对月之暗面的公开指控。 2月23日，Anthropic公开指控包括月之暗面在内的三家中国公司，声称通过约2.4万个欺诈账号与Claude进行了超过1600万次交互，其中月之暗面超过340万次。 Anthropic当时称，月之暗面针对智能体推理、工具使用、编程、数据分析等能力获取Claude数据，到了后期“还试图提取和重构Claude的推理轨迹”。而按照Anthropic的说法，这是“大规模蒸馏行为”。 到了7月17日，月之暗面正式发布新一代大模型Kimi K3，凭借超强性能，引发外界关注。随后，月之暗面副总裁黄震昕在接受媒体采访时就明确表示，K3性能跃升的核心来自底层原创架构创新，“并非对现有模型进行蒸馏复刻”。 K3发布时的Arena前端代码榜单。K3以1679分跃升17位至第一，领先当时的Claude Fable 5和GPT-5.6 Sol。 事实上，此次论文发现的“Claude痕迹”，从技术上也无法证明“K3是依靠蒸馏Claude变强的”，但是可以提供一种可能性，即K3在训练或后训练阶段接触过Claude的一些数据，所以学到了部分Claude的语言习惯、身份标签乃至推理模式。 然而需要要注意，即便如此，这些数据究竟是像Anthropic所说的那样靠主动蒸馏来的，还是因为与Claude使用了相同的第三方合成数据集，甚至是训练数据中广泛存在的Claude文本污染，单凭模型行为是无法区分。 另一方面，K3还是一个拥有2.8万亿总参数、1040亿激活参数的MoE架构模型，集成了Kimi Delta Attention、Attention Residuals、Stable LatentMoE等自研技术，并经历了大规模预训练和强化学习后训练的全流程。单硬指标来看，也不仅仅是通过对Claude发出几百万个问题就能得到的。 这也是为什么，曾任艾伦人工智能研究所大模型后训练负责人的美国知名AI研究员兰伯特（Nathan Lambert）认为，随着前沿模型越来越依赖大规模强化学习，单纯依靠其他模型输出进行蒸馏，对最终模型能力的作用正在减弱。 7月22日，兰伯特参加一次关于K3话题的播客节目 兰伯特指出，从Claude、GPT等模型获得的推理轨迹和工具调用数据，确实可以成为很好的监督微调或中期训练数据，帮助模型建立某些能力，但这更多相当于为模型“播种”。此后要把模型推向前沿水平，仍需要进行大规模强化学习以及大量数据、环境和训练工程工作。 目前，月之暗面并未就该论文结果，进行回应。 本文系观察者网独家稿件，未经授权，不得转载。 特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。 Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services. 机器之心Pro 2026-09-08 18:08:41 量子位 2026-03-07 20:19:13 夜深爱杂谈 2026-09-08 20:34:09 速度计 2026-09-08 09:33:08 小鱼地理 2026-09-07 10:53:17 量子位 2026-03-17 14:47:09 机器之心Pro 2026-07-16 10:08:58 丰收影说 2026-09-06 00:00:00 嵩仔聊剧 2026-09-05 10:47:05 中国新闻周刊 2026-09-08 20:55:46 机器之心Pro 2026-07-04 16:17:43 流量君 2026-09-09 00:48:35 捡影 2026-09-06 00:00:00 小龙追剧 2026-09-08 21:04:48 雷科技 2026-07-13 16:07:45 星河漫山野 2026-09-08 20:09:49 自愈小日子 2026-09-07 00:31:18 大头是只猫 2026-09-08 14:56:29 懂球帝 2026-09-09 14:00:18 嵩仔聊剧 2026-09-05 10:45:21 南北饭斗罗 2026-09-06 02:54:59 嵩仔聊剧 2026-09-06 00:00:00 捡影 2026-09-05 10:40:28 嵩仔聊剧 2026-09-04 19:17:25 参考消息 2026-09-08 21:47:08 星眸爱生活 2026-09-08 20:44:47 二月如栢 2026-09-06 23:06:24 宇宙科学探索 2026-09-07 15:19:24 半岛都市报 2026-09-09 07:35:10 潇湘晨报 2026-09-08 19:10:47 娱君坠星河 2026-09-09 09:57:16 沐浴春江 2026-09-09 11:53:49 红星资本局 2026-09-08 18:53:05 自在天高 2026-09-09 11:18:59 星河不入我 2026-09-09 09:37:32 愚与趣 2026-09-09 08:44:00 澎湃新闻 2026-09-08 23:14:11 量子位 2026-06-11 16:23:55 阿讯说天下 2026-09-09 11:35:09 公考客栈店小二 2026-09-05 18:00:00