GPT-5.5登顶编码基准测试:DeepSWE揭示AI编程真实差距

OpenAI GPT-5.5在DeepSWE基准测试中以70%通过率登顶,领先Claude Opus达16个百分点,同时揭示行业主流评测存在32%错误率。

5月26日,初创公司Datacurve发布全新基准测试工具DeepSWE,对当前主流AI编程模型进行了迄今为止最严格的评测。结果显示,OpenAI的GPT-5.5以70%的通过率位列第一,大幅领先第二名Claude Opus达16个百分点。

DeepSWE评测涵盖113个任务、91个开源代码库及5种编程语言,相比现有主流基准SWE-Bench Pro(平均仅需120行代码修改),DeepSWE的参考解决方案平均需要668行代码,复杂度约为前者的5.5倍,更贴近真实开发场景。

更值得关注的是,Datacurve的审计发现,SWE-Bench Pro的自动评分系统在随机抽样的30个任务中,约32%的判定结果存在错误——这意味着行业当前严重依赖的编程能力衡量标准可能存在系统性偏差。Datacurve联合创始人Serena Ge表示:「公开排行榜上,各模型看似能力接近,但DeepSWE揭示了它们在实际日常开发中的真实差距。」

随着AI编程工具在企业级开发中的普及,本次评测结果将为工程团队在模型选型时提供更可信的参考依据。

来源:VentureBeat,2026年5月26日

💬 评论
🔗 本文链接

以专业为基,引领科技向善向新

Rooted in professionalism, we lead technology toward social good and innovation.

数智化转型网 · 了解更多产业资讯与选型数据 →

📰 你可能也喜欢

数智化转型网每日AI资讯 AI情报站

DeepMind成立新研究院,四篇文章直面AGI关键问题

谷歌与谷歌DeepMind研究人员于9月16日成立DeepMind研究院,旨在推动围绕通用人工智能(AGI)的跨学科讨论。研究院董事包括DeepMind联合创始…
📅 10-20 · 👁 2026年10月20日
数智化转型网每日AI资讯 AI情报站

谷歌最强数学推理模型曝光:代号 Mathematica,100 万词元上下文专攻数学难题

爆料称谷歌正基于 DeepThink V3 模型,构建内部代号为 Mathematica 的实验 AI 模型。该模型主要针对繁重计算与复杂的符号问题求解进行特别…
📅 10-20 · 👁 2026年10月20日
数智化转型网每日AI资讯 AI情报站

SpaceX AI 部门盯上破产初创公司数据:将用来训练Grok

据知情人士透露,SpaceX 旗下人工智能部门 SpaceXAI 正在进行非正式的内部讨论,考虑从陷入困境或已经倒闭的初创公司手里收购客户及运营数据,用来训练 …
📅 10-20 · 👁 2026年10月20日
数智化转型网每日AI资讯 AI情报站

Anthropic重构Claude Code项目功能,多线程并行执行任务

Anthropic重构Claude Code项目功能,新增多线程并行协作机制。用户只需描述项目目标,协调员即可将任务拆分并分配至多个独立“线程”,每个线程均在独…
📅 10-20 · 👁 2026年10月20日
数智化转型网每日AI资讯 AI情报站

OpenAI 推出 Astra for Law:索引 2.3 亿 URL,法律问答正确率 54% 力压通用模型 15 个百分点

OpenAI 于9月17日发布博文,推出定位法律专用的人工智能基础平台 Astra for Law。它的底气来自数据规模:法律搜索索引覆盖超过2.3亿个 URL…
📅 10-20 · 👁 2026年10月20日
数智化转型网每日AI资讯 AI情报站

谷歌最强 Gemini 4 Pro 开测 SVG 生图惊艳

据网友反馈,谷歌正在以“gemini-3.8-flash”的名称,在 Arena 等基准平台上测试其最强模型 Gemini4Pro,内部开发代号为 Argon。…
📅 10-20 · 👁 2026年10月20日