工具概述

AI编码智能体现在已经能够自主决定调用哪个SDK、执行哪些工具，然而对人类开发者而言流畅的操作流程，对智能体来说仍可能步履蹒跚。

微软为此打造了Scope工具，旨在捕捉智能体在这些场景中的失败情况。该工具会对同一任务驱动不同的智能体执行，并对各智能体的输出结果进行评分。项目代码以MIT许可证开源发布。

微软将其定位为开发者智能体体验（DevAx）领域的一项实践，核心目标是评估现有编码智能体的表现。

工作原理

使用者为Scope提供任务描述、可选的初始代码库以及智能体配置，随后工具会驱动GitHub Copilot和Claude Code等现有智能体完成指定任务。

评估机制

成功标准通过依赖图来定义，某项检查可以成为另一项检查的前置条件。例如，一个典型测试是要求智能体构建一个Node.js服务器，然后验证是否存在返回JSON数据的GET /health路由。

基于大语言模型的Judge服务会根据这些标准对每次运行进行评分。需要指出的是，Judge可能存在误判，微软建议重要结论仍需人工复核。

可追溯性与对比

每次运行都会保留实时日志、生成文件、工作区快照以及工具调用记录。如果某项标准未通过，可以沿着这些步骤回溯定位问题所在。

版本化的配置档案会保存智能体、模型、技能、MCP服务器及扩展信息。用户可以替换其中某个组件，重新执行相同任务并进行对比分析。重复运行同一任务有助于区分偶发问题与持续性缺陷。

其他特性

• 可配置的角色设定，用于模拟不同视角和语气的用户
• 支持通过Web门户查看结果
• 提供CLI和REST API接口，便于集成到脚本和自动化流水线中

应用场景

文档团队

可以追踪那些智能体反复遗漏的指令，修复文档后再次运行场景进行验证。

SDK维护者

检查智能体是否优先选用自己的SDK，同时测试新的示例代码或技能是否能改善这一情况。

CLI与MCP服务器

追踪日志能够揭示智能体卡壳的具体位置，可能指向模糊的工具描述或不清晰的错误提示。

部署要求

Scope目前没有托管版本，需要自行部署。本地运行需要以下组件：

• Docker（含Compose v2）
• Node 22
• pnpm
• mkcert
• GitHub CLI

微软提供了详细的本地开发指南协助完成配置。

默认工作节点需要有效的GitHub Copilot授权，Judge服务则需要模型提供商的凭证。希望部署共享环境的团队可以通过Helm图表在Kubernetes上运行，详见自我托管文档。

项目代码托管于GitHub，贡献者需要签署微软的贡献者许可协议（CLA）。

关注微信号：智享开源 ，及时了解更新信息。

原文链接：https://feed.itsfoss.com/link/24361/17501229/microsoft-scope-self-hosted-agent-testing