上海交大等团队推出 SWE-Explore 基准测试,揭示 AI 编码智能体行级定位缺陷

一个由上海交通大学参与的国际研究团队今日正式推出全新基准测试工具 SWE-Explore,该工具通过将代码搜索 […]

一个由上海交通大学参与的国际研究团队今日正式推出全新基准测试工具 SWE-Explore,该工具通过将代码搜索与实际修复阶段进行解耦评估,首次量化揭示了当前 AI 编码智能体在“行级精度”上的重大技术短板。这一研究打破了以往仅依赖“最终修复率”的单一评估模式,为智能体上游搜索质量的直接衡量提供了全新标准,正推动 AI 软件工程评测向深水区演进。

传统的 SWE-bench 等基准测试因仅关注端到端的结果,往往掩盖了智能体在代码阅读与理解阶段的真实缺陷。为此,研究团队基于 GPT-5.4、Gemini3Pro、Claude Sonnet4.6及 Kimi K2.6等主流大模型的成功运行轨迹,提取出多条独立解路径交汇的共识代码段作为参考值,构建了包含10种编程语言、203个开源项目的848个缺陷任务数据集。

评测结果显示,尽管 Claude Code、OpenHands 等通用编码智能体在“文件级”定位上表现卓越,但在聚焦到具体的“代码行”时,其核心区域覆盖率骤降至14% 到19% 之间。消融实验进一步证实了“最小上下文阈值”效应的存在:当关键核心区域的可见比例低于50% 时,模型修复基本宣告失败;而一旦跨越50% 至75% 的阈值,修复成功率才会出现断崖式回升。

这一研究成果表明,当前 AI 智能体的瓶颈并非完全在于补丁编写能力,而在于对关键上下文的精准过滤与捕捉。在当前行业内诸如项目经理拒绝半数自动化采纳方案的现实背景下,SWE-Explore 提出的“少过滤、多阅读”技术导向,不仅为下一代专门化代码定位系统(如 CoSIL 等)的架构优化指明了方向,也将加速自动化软件工程从“暴力生成”向“精准检索”的范式转变。

💬 评论
🔗 本文链接

以专业为基,引领科技向善向新

Rooted in professionalism, we lead technology toward social good and innovation.

数智化转型网 · 了解更多产业资讯与选型数据 →

📰 你可能也喜欢

上海艺赛旗解决方案部总经理李博确认出席2026 CXOU AI未来大会云端分论坛并作主题分享——数智化转型网www.szhzxw.cn 各地政策

上海艺赛旗解决方案部总经理李博确认出席2026 CXOU AI未来大会云端分论坛并作主题分享

2026 CXOU AI未来大会以 「在智能时代重塑人的价值和可能」 为核心理念,汇聚全球AI领域顶尖专家、产
📅 08-28 · 👁 2026年8月28日
政策资讯——数智化转型网www.szhzxw.cn 各地政策

京东七鲜咖啡全球首发 24 小时无人店:机器人现制、AI 荐饮,落地北京银河 Soho

京东集团旗下七鲜咖啡今日宣布,首家 24 小时智能化无人咖啡店将于 8 月 16 日在北京银河 Soho 开业
📅 08-26 · 👁 2026年8月26日
政策资讯——数智化转型网www.szhzxw.cn 各地政策

AI企业也能按Token融资:广东首推“Token贷”

8月14日,广东省首个词元经济专项金融产品“Token贷”在广州海珠区发布,旨在为算力及AI相关中小微企业提供
📅 08-18 · 👁 2026年8月18日
全球1万余位金融保险菁英齐聚香港----第十六届世界华人保险大会暨2026国际龙奖IDA年会盛大举办——数智化转型网 各地政策

全球1万余位金融保险菁英齐聚香港—-第十六届世界华人保险大会暨2026国际龙奖IDA年会盛大举办

香港2026年8月9日 /美通社/ — 2026年8月7日至10日,第十六届世界华人保险大会暨20
📅 08-18 · 👁 2026年8月18日
当AI加速重塑商业,商学院如何培养人的判断力?----上海交大高金MBA的2026探索——数智化转型网 各地政策

当AI加速重塑商业,商学院如何培养人的判断力?—-上海交大高金MBA的2026探索

上海2026年8月7日 /美通社/ — 当人工智能深度渗透产业与资本市场,知识获取门槛持续降低,商
📅 08-17 · 👁 2026年8月17日
从中东走向世界:新石器无人配送,打造中国智驾出海标杆路径 各地政策

广东低速无人配送车冲入施工坑 感知系统未识别风险

8月15日,广东网友在社交平台发布视频,一辆正常行驶的低速无人配送车因未能识别路面施工坑洞,径直冲入沟槽侧翻
📅 08-16 · 👁 2026年8月16日