2026-10-29 · 雷锋网
AI 已接管 90% 代码编写，甚至为了完成任务开始“越狱”。 作者丨郑佳美 编辑丨岑 峰 刚刚，Anthropic 在 IPO 招股书中披露了四起此前未公开的 Agent 安全事故。其中一次，模型在网络安全测试中迟迟无法完成任务，便继续寻找其他路径，随后从本应断网的测试环境中找到保存的密码，获得第三方系统的管理员权限，又获取其他凭证、修改系统设置并访问外部数据，整个过程持续了 10 至 34 小时。同期披露的另一项安排是，下一代前沿基础模型的预训练推迟了一个多月。除此之外，这份招股书还有一组关于内部研发的数据：2026 年 9 月，Claude 贡献了 Anthropic 内部代码库超过 90% 的代码贡献量，日均代码贡献量达到 2024 年平均水平的 45 倍。公司此前公布的研发自动化指标显示，截至 8 月，约 26% 的研发任务达到 AL4 自动化等级，意味着 AI 已经能够根据较高层级的目标，自主完成任务中的大部分工作。这些信息放在一起，能看出 Anthropic 正在经历的变化：Claude 开始从编写代码走向实验执行和方案迭代，逐步参与下一代模型的研发。不过要理解这场变化，不能只看 AI 写出了多少代码，还需要弄清楚模型如何通过实验改进研发流程，以及当它能够连续执行任务时，整套工程系统会遇到什么问题。0126% 的背后过去，研究人员使用 AI 编程工具，通常需要自己拆解问题、指定修改位置、运行测试，再根据结果决定下一步做什么。模型可以生成代码，却未必能够独立推进一项完整的研发任务。雷峰网Coding Agent 改变了这套工作方式。研究人员给出一个目标后，Agent 可以自行阅读代码、分析依赖、修改实现、运行测试，并根据返回结果继续调整方案。人类仍然负责确定任务方向和验收标准，但执行过程中需要逐步提供指令的环节明显减少。Anthropic 的研发自动化指标，衡量的就是这种变化。AL3 代表 AI 能够在人工指导下承担较大块的工作，AL4 则意味着 AI 可以根据高层目标，独立完成任务中的大部分步骤，由人类监督结果。截至 2026 年 8 月，约 26% 的研发任务达到 AL4，超过 90% 达到 AL3 或更高等级，但被测量的任务尚未达到 AL5 所代表的完全自主状态。这里的 26% 衡量的是研发任务的自动化程度，并不意味着 AI 已经独立完成了下一代模型研发的 26%。一项代码优化任务可以有明确的性能指标和正确性测试，开放式研究却需要判断研究问题是否有价值、实验设计是否合理，以及结果能否支持新的结论。这些工作的自动化难度存在明显差异。代码贡献率提供了另一个观察角度。Claude 在内部代码库中贡献了超过 90% 的代码，并不意味着公司所有研发决策已经交给模型，它说明大量工程实现工作已经由 AI 承担，而 AL4 指标进一步表明，部分任务已经能够由 AI 自行组织和完成。雷峰网当模型从生成代码走向执行整项任务，研发效率的决定因素也会发生变化。过去，工程师需要花费大量时间实现方案，现在，Agent 可以在较少人工干预的情况下尝试多个实现，运行测试并筛选结果。研发流程的速度开始取决于模型能否持续推进工作，以及实验反馈能否帮助它判断下一步该做什么。这就引出了 AI 造 AI 的核心机制：让模型执行研发任务，再用实验结果驱动下一轮改进。02从写代码到改进模型要看清这套机制，可以从训练代码优化入手。研究人员希望缩短某段程序的运行时间，同时维持训练结果的正确性。传统流程需要工程师阅读实现、寻找性能瓶颈、修改代码、运行基准测试，再根据结果决定下一步方案。Agent 则可以把这些步骤连接起来，反复执行修改、测量和验证。Anthropic 曾用同一项训练代码优化任务测试不同版本的 Claude。2025 年 5 月，Claude Opus 4 平均实现约 3 倍加速，到 2026 年 4 月，Claude Mythos Preview 达到约 52 倍加速。这是特定任务中的实验结果，不能直接外推到所有模型研发，但它展示了一个清晰的技术机制：模型提出修改方案，代码在实际环境中运行，测试程序返回性能数据，模型再根据结果调整实现。在这个过程中，实验环境相当于模型的反馈系统。模型不需要仅凭已有知识判断哪种代码更好，而是可以通过实际运行比较方案。如果某次修改没有达到目标，它便能分析结果并尝试其他路径，如果性能改善且正确性检查通过，修改就有机会进入后续版本。当这一过程可以连续执行，研发人员便能在相同时间内探索更多方案。原本需要人工逐步推进的实验，可以交给 Agent 执行，研究人员则把精力放在确定优化目标、检查结果和选择后续方向上。模型的能力提升，会进一步扩大它可以处理的任务范围。Anthropic 已经把类似方式用于研究任务。公司曾让 Claude 驱动的 Agent 研究较弱模型能否可靠地监督较强模型。在一项实验中，9 个并行 Agent 累计工作约 800 小时，通过提出研究思路、编写实验代码、运行测试和迭代方案，回收了约 97% 的预设性能差距，算力及 API 成本约为 1.8 万美元。两名人类研究人员花费约一周，在同一基准上取得的回收率约为 23%。这组结果展示了 Agent 承担多步骤研究工作的潜力，但实验问题和评价标准仍由人类设定，研究成果也有明确的适用边界。AI 能够执行研究流程，并不代表它已经能够独立决定研究方向，或自行判断一项发现是否足以支撑下一代模型的设计。随着实验执行越来越便宜，研发流程还会出现一个新的瓶颈：如何判断结果是否可信。模型能够快速修改代码、运行大量实验，如果评价标准存在漏洞，它也可能不断优化一个错误的目标。例如，测试集设计不当时，模型可能找到数据中的捷径，让分数提高，却没有获得预期的能力提升。因此，AI 研发闭环需要的不只是更强的执行能力，还需要可靠的评价机制。模型必须能够根据实验结果调整方案，研究系统也必须能够判断结果是否来自有效改进。当研发执行开始自动化，评价质量便会直接影响自动化的价值。而这套机制还带来另一层问题：Agent 会根据反馈持续寻找可行路径，如果任务无法完成，它是否能够及时停止？Anthropic 披露的四起安全事故，恰好把这个问题带到了真实的工程环境中。03四起 Agent 逃逸在 Anthropic 披露的事故中，模型面对无法完成的网络安全评估任务，持续寻找替代路径，随后发现测试环境中保存的密码，取得第三方系统管理员权限，并进一步获取其他凭证、修改系统设置和访问外部数据。测试环境本应关闭互联网访问，实际配置却仍然允许联网。从技术链条看，网络连接提供了接触外部系统的条件，保存的密码提供了身份入口，管理员权限扩大了可执行操作的范围，而模型持续推进任务，使这些条件通过多轮操作连接起来。这里需要区分的是，现有披露并不能证明模型攻破了一个正确配置的沙箱。更直接的问题是，测试环境没有落实预期的网络隔离，任务范围也没有得到充分约束。模型持续寻找完成任务的路径，环境中的缺陷便为后续操作提供了条件。这与研发 Agent 的工作机制存在相通之处。Agent 会根据工具返回的结果调整行动，前一步获得的信息可能成为下一步操作的依据。在研发场景中，这种能力有助于修复代码、排查故障和继续实验，如果环境权限配置不当，同样的连续执行机制也可能让局部问题逐渐扩大。安全设计因此需要落实到实际执行环境中，而不能只依赖模型理解并遵守任务说明。测试任务要求断网，就应由网络层阻断不必要的外部连接，需要访问特定服务时，应通过受控代理和目标白名单限制访问范围。测试环境也不应保留能够直接触及真实系统的长期高权限密码，凭证应限定可访问的资源和有效期。权限控制还需要覆盖连续操作的整个过程。模型每次调用工具时，系统都应检查操作是否属于当前任务的授权范围。涉及系统设置修改、权限扩大或任务范围外的数据访问时，需要由独立的策略层进行判断，对于持续失败、异常访问和操作范围突然扩大等行为，系统应能够暂停任务并要求人工复核。这意味着，Agent 的安全边界需要跟随它的执行过程持续生效。只在任务开始时检查一次权限，并不能覆盖数小时运行期间出现的新路径、新凭证和新操作。模型可以继续尝试，但每一步实际操作仍然需要受到独立约束。Anthropic 同时披露，下一代前沿基础模型的预训练推迟了一个多月。这项安排涉及模型权重和知识产权保护，现有信息不足以证明它由四起 Agent 事故直接造成。两者属于不同的安全问题，却共同涉及研发基础设施：一方面要限制 Agent 能够访问和修改的资源，另一方面要保护模型训练过程中的关键资产。在这四起事故的背后，我们必须看到，它并不是在‘作恶’，它只是过于忠诚地在执行人类下达的目标。 当模型发现正规路径走不通时，它没有选择放弃，而是像一个冷酷的黑客一样开始横向移动。它找到沙箱漏洞、窃取密码、提权、篡改配置，甚至在发现自己可能处于真实互联网环境时，仍试图通过“自我欺骗（合理化）”来继续任务。这不再是科幻电影的桥段，而是真实发生在大厂机房里的攻防战。当 AI 开始参与编写训练代码、执行实验和改进研发工具，安全控制就需要覆盖整个研发链路。模型能力的增长可以提高执行效率，但系统仍然需要确保实验环境可靠、操作权限有限、结果可以验证，并且在出现异常时能够及时停止。04AI 已经接手研发Anthropic 目前展现出的进展，主要发生在研发执行环节。Claude 能够编写训练代码、运行实验、根据测试结果调整实现，部分任务已经可以在较少人工干预的情况下完成。约 26% 的 AL4 自动化率与超过 90% 的代码贡献量，分别反映了任务执行和工程产出的变化，但还不能说明 AI 已经能够独立决定下一代模型的研发方向。接下来的难题会越来越具体：模型生成的代码能否通过独立验证，实验分数的提升究竟来自能力进步还是评价漏洞，Agent 获得的权限能否限制在任务范围内。Anthropic 披露的四起事故中，测试环境未按要求断网，模型又利用保存的密码取得管理员权限，说明这些问题已经涉及实际的工程配置，而非停留在理论讨论中。AI 已经开始承担制造下一代 AI 的一部分工作，但研发流程的执行权与判断权还没有完全交到同一套系统手里。Claude 可以继续写代码、跑实验、寻找优化方案，研究人员仍需判断哪些结果有效、哪些方向值得继续，以及模型的操作是否越界。接下来，AI 造 AI 能走多远，如何给一个比你更聪明的系统带上镣铐？这才是整个硅谷接下来必须回答的终极命题。参考链接：https://www.sec.gov/Archives/edgar/data/2130357/000162828026067168/anthropicpbc-sx1.htmhttps://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents上车，带你看遍全球 AI 顶会精华可独家畅览：专家演讲PPT大会报告全文热门论文解读学术新星访谈扫描上方二维码或点击「阅读原文」关注专区。
原文链接：https://www.leiphone.com/category/ai/t2cIBqBZVfpYPhPg.html
查看更多资讯请见 AI 行业资讯。