Skip to content

04 · 如何开发、部署和维护 Agent Platform? - Engineering & Practice ​

所属知识库:Agent 全栈技术地图
所属领域:04 · Agent Platform
所属章节:04 · 如何开发、部署和维护 Agent Platform? - Engineering & Practice
文档类型:章节概述 / 工程研究路线 / 实践框架
版本:v1.3
更新日期:2026 年 11 月 1 日
核心问题:如何将 Agent Platform 的概念、技术架构与产品功能转化为能够开发、部署、运行、验证和持续演进的真实工程系统?

专题导读 ​

本篇属 Agent Platform。前面三章分别回答了 Agent Platform 是什么(Fundamentals)、由哪些技术能力支撑(Technical Architecture,P1 - P2 - P3 - P4 - P5 - P6 - P7 - P8 - P9 - P10 - P11 - P12)以及应该向用户提供哪些产品功能(Product Architecture,F1 - F2 - F3 - F4 - F5 - F6 - F7 - F8 - F9 - F10 - F11 - F12)。本章转向工程实践:在明确需求、资源约束与风险边界的前提下,怎样做技术决策、划分系统、制定迭代计划、上线运维并用证据判断平台是否可靠。

本章不是再次罗列 P1 - P2 - P3 - P4 - P5 - P6 - P7 - P8 - P9 - P10 - P11 - P12 或 F1 - F2 - F3 - F4 - F5 - F6 - F7 - F8 - F9 - F10 - F11 - F12,也不是为所有平台规定唯一技术栈。其研究对象是工程决策及其验证过程。一套技术架构可能在原理上合理,但若缺乏团队维护能力、部署路径、成本预算、数据迁移方案和故障恢复机制,仍然无法成为可持续运营的平台。

本文采用三类标记:[标准/公开资料] 表示可追溯至公开规范或官方文档的内容;[工程推论] 表示依据工程原理形成的判断;[Studio 参考方案] 表示面向多 Agent 研究报告平台提出的待验证设计。示例代码、接口、阶段计划、指标阈值均不是已实施或已测量的事实。

研究结论 ​

  1. Agent Platform 的工程建设应以场景、可靠性目标、团队能力与预算为约束,先确定最小可运行闭环,再扩展平台化能力;不宜以技术组件数量衡量成熟度。
  2. 平台最小闭环是定义 Agent/Workflow → 创建 Run → 持久化任务 → 可靠执行 → 可观察进度 → 人工干预 → 管理产物 → 验证结果,其中状态持久化、权限和故障恢复是基础要求。
  3. 控制面、执行面和数据面是有用的逻辑边界,但并不强制要求第一天就拆分为微服务;模块化单体配合独立 Worker 是可评估的起点。
  4. 技术选型应同时比较能力覆盖、操作复杂度、可迁移性、总拥有成本和团队熟悉度,避免仅依据框架热度作决定。
  5. Agent 执行具有模型输出不确定、外部工具副作用、长时运行、人工等待与成本波动等特征,因此需要独立设计重试、幂等、检查点、超时、取消、审批、预算与回放边界。
  6. 部署成功不是工程完成。运行可靠性必须通过可观测性、备份恢复、故障演练、访问控制、质量评估和变更管理持续证明。
  7. 本章六篇专题按照案例→选型→架构→路线→运维→验证优化组织,但在真实工程中六项工作需要反复迭代,而非一次性瀑布流程。

01 · 本章定位与研究边界 ​

1.1 研究对象 ​

本章研究从产品定义到生产运营的全过程,涉及:

  • 工程基线:需求与非功能要求、威胁模型、服务目标、成本上限和交付边界。
  • 技术决策:语言、框架、模型接入、数据库、消息队列、执行沙箱、可观测性和部署基础设施。
  • 系统实现:模块划分、接口契约、数据一致性、状态机、任务执行与恢复。
  • 工程交付:版本控制、CI/CD、环境管理、迁移、灰度发布、回滚和运维手册。
  • 质量验证:功能正确性、执行可靠性、安全、性能、成本、用户体验及 Agent 结果质量。

本章不直接替代:

已有章节主要研究问题本章增加的工程问题
01 Fundamentals平台是什么、有哪些类型和原则?具体项目如何选择平台形态与实施边界?
02 P1 - P2 - P3 - P4 - P5 - P6 - P7 - P8 - P9 - P10 - P11 - P12技术层应有哪些组件和机制?哪些组件先做、怎样实现、如何部署与维护?
03 F1 - F2 - F3 - F4 - F5 - F6 - F7 - F8 - F9 - F10 - F11 - F12用户需要哪些操作与界面?如何分阶段交付、验收与持续改进这些能力?
03 Agent System单个或多个 Agent 如何工作?平台如何承载多项目、多版本、长时任务和运营治理?

1.2 平台类型影响工程方案 ​

自用研究工具、面向开发者的 Agent 基础设施、企业内部平台和多租户 SaaS 的工程要求不同。自用工具可能允许人工运维与单环境部署;企业平台需要更严格的身份集成、审计与数据隔离;公开 SaaS 还需要计费、滥用防护、租户级配额与支持流程。不能把大型企业平台的全部治理能力当作个人项目 MVP 的先决条件,也不能把原型级单用户权限模型直接搬到生产多租户环境。

02 · 六篇专题的研究结构 ​

严格沿用 v1.3 正式目录及顺序:

编号正式专题名称关键研究问题主要交付物
01有哪些值得研究的 Agent Platform? - Platform Case Studies现有平台采用了哪些产品、架构和运营取舍?哪些可借鉴?可核验案例档案、对比矩阵、适用边界与设计启示
02如何选择 Agent Platform 的技术框架? - Technology Selection在约束条件下如何比较技术方案并形成可追溯决策?需求权重、候选方案、ADR、PoC 方案与选型结论
03如何设计 Agent Platform 的系统架构? - System Design如何划分组件、定义契约、设计数据与故障边界?C4/部署图、状态机、数据模型、接口、威胁模型
04如何分阶段开发 Agent Platform? - Development Roadmap如何从可用原型走向可运营平台,控制范围和风险?里程碑、依赖关系、验收门槛、迁移与退出条件
05如何部署和运维 Agent Platform? - Deployment & Operations如何可靠上线、观测、恢复、升级并控制成本?环境方案、CI/CD、运行手册、备份恢复与应急预案
06如何验证和持续改进 Agent Platform? - Testing & Optimization怎样证明功能、可靠性、安全、成本和输出质量?测试矩阵、评估集、SLO、实验与持续优化机制

2.1 各专题之间的输入与输出 ​

mermaid
flowchart LR
  A[01 案例研究\n识别模式与取舍] --> B[02 技术选型\n确定候选与验证]
  B --> C[03 系统设计\n落实架构与契约]
  C --> D[04 开发路线\n阶段交付与验收]
  D --> E[05 部署运维\n生产运行与恢复]
  E --> F[06 测试优化\n证据与反馈]
  F -.问题与约束反馈.-> B
  F -.架构缺陷反馈.-> C
  F -.优先级反馈.-> D

这张图表示研究与决策依赖,不是固定项目排期。测试、安全审查、监控和运维设计应从第一阶段介入,而不是等第六篇研究结束才开始。

03 · 平台工程的最小可运行闭环 ​

3.1 八个必须贯通的环节 ​

  1. 定义:保存 Agent 定义、工具权限、模型配置及版本,支持工作流引用固定版本。
  2. 提交:验证用户权限、输入结构、资源配额,创建具有唯一 ID 的 Run。
  3. 排队:将任务持久化并由 Worker 领取,避免仅依赖前端连接或进程内存。
  4. 执行:记录步骤状态、模型/工具调用、重试与超时;区分内部计算和外部副作用。
  5. 观察:通过 Run 状态、事件和日志向授权用户反馈可解释的进度。
  6. 干预:支持取消请求、人工审批、失败重试和安全恢复。
  7. 产物:将输出保存为可版本化、可审核的 Artifact,而非仅保留聊天消息。
  8. 验收:验证执行、结果质量、审核和交付状态;记录成本与失败原因。
mermaid
flowchart TD
  U[用户 / API 客户端] --> C[控制面 API]
  C --> DB[(PostgreSQL\n定义 / Run / 审计)]
  C --> Q[持久化任务队列]
  Q --> W[Worker / Agent Runtime]
  W --> M[模型与工具服务]
  W --> DB
  W --> S[(对象存储\nArtifact / 导出)]
  W --> EV[事件流 / Telemetry]
  EV --> O[监控与事件查询]
  O --> C
  C --> U
  W --> H{需要人工审批?}
  H -->|是| DB
  U -->|批准 / 拒绝| C

[工程推论] 这一架构中的“持久化任务队列”可由数据库任务表、专用队列或工作流引擎承担,具体取舍取决于任务时长、并发、恢复需求和运维能力。图中的模型调用、工具调用和审批可能跨多个进程或服务,必须设计超时、授权和追踪上下文。

3.2 最小正确性约束 ​

约束为什么必要最低可验证证据
Run ID 全局唯一且作用域明确关联任务、日志、产物与权限重复提交和跨租户查询测试
Run 状态变更持久化进程重启后仍能恢复Worker 中断后恢复测试
领取与执行具有租约/去重策略避免重复并发执行两个 Worker 竞争同一任务测试
外部副作用采用幂等键或补偿策略重试可能重复发邮件、写数据故障注入与重复回调测试
人工审批必须绑定步骤和版本防止批准错误对象旧审批回调与越权审批测试
产物保存固定版本审核与交付不可漂移修改后审核状态测试
每次调用可追踪成本与错误支持诊断、预算和运营指标对账与失败归因测试
所有对象执行服务端鉴权防止前端绕过水平越权与租户隔离测试

04 · 工程决策的统一方法 ​

4.1 从需求到 ADR ​

建议每个重大决策建立 Architecture Decision Record(ADR):背景与约束、候选方案、选择依据、拒绝方案、风险、验证方式、复审触发条件。ADR 不等于一次决定永久有效;当并发量、合规要求、团队规模或成本结构改变时,应重新评估。

示例:是否引入专用工作流引擎?

比较维度数据库任务表 + Worker专用工作流引擎
初期实现复杂度通常较低,但恢复逻辑需自行实现引入服务和学习成本
长时任务与状态恢复需要自行设计检查点、定时器、租约可能提供成熟的持久执行原语
可观察性需要构建任务历史和诊断视图部分产品提供工作流历史和工具
平台锁定与数据库和自有代码耦合与引擎 SDK、执行语义耦合
适用情形工作流较简单、团队规模较小长时编排、复杂补偿和大量等待步骤

这不是预设结论。应通过断电/重启恢复、重复消息、长时间等待、升级兼容、成本和运维复杂度的 PoC 比较候选。

4.2 五类不可跳过的约束 ​

  • 功能约束:是否需要多 Agent、人工审批、定时运行、文件处理、第三方 API、插件生态。
  • 非功能约束:并发、响应延迟、数据恢复时间、可用性、日志保留和可扩展性。
  • 安全约束:租户隔离、密钥管理、工具沙箱、数据驻留、审计与权限。
  • 组织约束:维护人员数量、技能、部署环境、预算、交付期限。
  • 业务约束:用户是谁、关键任务成功的定义、付费模型、支持承诺。

4.3 决策质量的评价 ​

好的选型不要求所有指标最佳,而要求:目标明确、证据充分、代价可承受、退出路径清楚。选型矩阵中的权重属于团队决策假设,必须在真实项目中校准,不应包装为行业通用评分。

05 · Agent Platform 的关键工程难点 ​

5.1 非确定性与可复现性 ​

相同 Prompt、模型名称和输入不保证得到相同结果;供应商模型版本、工具返回、时间和外部数据也可能变化。因此应区分运行记录可追溯、过程可重放与输出可复现。保存输入、Agent 版本、模型标识、参数、工具版本、关键事件和产物哈希有助于诊断,但不能保证输出字节级一致。不得为了“调试透明”默认暴露模型内部推理内容。

5.2 长时运行与恢复 ​

研究报告工作流可能运行数十分钟或跨人工审核等待数天。Web 请求生命周期不应直接绑定整个执行生命周期。系统应将“提交任务”和“获取结果”解耦,提供持久化 Run、异步事件、恢复点与过期策略。恢复机制需要明确定义:从哪里继续、哪些步骤可重做、哪些副作用不可重做。

5.3 幂等与外部副作用 ​

数据库写入、发邮件、付款、发布文章和调用第三方系统都可能产生不可自动撤销的副作用。对这类操作应使用稳定幂等键、外部请求记录、去重与必要的人工确认;无法保证端到端恰好一次执行时,应明确采用至少一次交付 + 幂等处理或补偿流程,并在文档中声明其限制。

5.4 工具权限与执行隔离 ​

Agent 可能读取网页、执行代码、访问文件或调用 SaaS。必须区分“模型建议调用工具”和“平台实际授权执行工具”。平台应在工具网关或执行层实施服务端鉴权、凭证隔离、输入校验、资源限额、网络限制及审计。来自网页、文档和外部工具的内容应视为不可信数据,防范提示注入引导越权调用。

5.5 成本、容量与质量 ​

模型成本不仅由请求数量决定,还受输入输出 token、上下文长度、缓存、重试、工具调用、评估和失败返工影响。容量规划不能仅看 HTTP QPS,还应考虑并发 Run、Worker 占用时间、模型提供方速率限制、队列积压、人工等待以及产物存储。质量需要独立评估:执行完成不等于事实正确、引用可信或交付合格。

06 · 技术架构与产品功能的工程映射 ​

工程能力主要对应技术章节主要对应产品章节典型工程验证
Agent 定义与版本P3 Agent RegistryF1、F2、F9版本冻结、差异、回滚
构建与调试P4 Agent Development ServicesF3调试权限、测试隔离、可复现记录
部署与执行P1、P2、P5F6、F8重启恢复、取消、重试、容量
工作流与协作P6 Workflow ManagementF7依赖调度、审批、并行与返工
模型与外部资源P7 Resource & IntegrationF2、F6密钥、限流、故障切换
对外集成P8、P9F11契约、鉴权、Webhook、SDK
数据与产物P10 Platform Data & AssetsF10版本、存储一致性、交付追溯
组织隔离P11 Multi-tenancy & IsolationF5、F12水平越权、跨租户资源隔离
平台治理P12 Platform GovernanceF8、F12配额、审计、告警、策略生效

映射表体现职责关系,不是组件一一对应关系。比如 F8 运行监控同时依赖 P1、P2、P5、P6、P10 和 P12;真实架构需要跨组件的数据契约和追踪上下文。

07 · Studio:多 Agent 研究报告平台的参考实施路线 ​

7.1 场景和现状边界 ​

[Studio 参考方案] 以用户既定的研究工作流为例:选题 Agent 提出候选 → 审核 Agent 审核并可能返工 → 用户确认 → 深度调研 Agent 收集资料 → 分析 Agent 整理证据 → 审核 Agent 检查质量 → 生成、修订和交付报告。

已讨论的 Studio 产品原型与界面设计,不能直接视为后端、运行系统或生产运维已经实现。本章建议以验证真实 Run 的可靠闭环为第一工程目标。

7.2 建议的初期系统形态 ​

mermaid
flowchart TB
  FE[Next.js Web / Studio UI] --> API[Platform API\n模块化单体]
  API --> AUTH[身份与权限模块]
  API --> REG[Agent / Workflow Registry]
  API --> RUN[Run / Approval / Artifact 模块]
  API --> PG[(PostgreSQL)]
  API --> QUEUE[持久任务队列]
  QUEUE --> WORKER[独立 Worker]
  WORKER --> PROVIDER[模型与工具适配层]
  WORKER --> OBJ[(对象存储)]
  WORKER --> PG
  WORKER --> OBS[日志 / 指标 / Trace]
  API --> OBS

[工程推论] 模块化单体与独立 Worker 可减少早期跨服务协调成本,同时保留控制面与执行面的进程隔离。是否选择 Next.js 服务端路由作为完整 API 承载层、是否使用 Python Worker、是否引入 Redis 或工作流引擎,需要在 02 Technology Selection 中结合现有代码和 PoC 决定,不能仅凭示意图定案。

7.3 分阶段目标与退出条件 ​

阶段目标必须交付的可验证结果暂缓能力
S0 工程基线明确范围、架构、代码与环境仓库盘点、ADR、开发环境、基础 CI商业计费、多租户高级治理
S1 单 Run 闭环真正启动一个 Agent持久化 Run、Worker 执行、事件、产物复杂协作、插件市场
S2 工作流闭环完成研究报告主流程多 Agent 调度、审核返工、人工审批、恢复大规模分布式调度
S3 可运营 MVP小规模真实用户可持续使用鉴权、权限、成本、监控、备份、故障演练企业级计费与多地域部署
S4 平台化扩展支持复用与外部集成Agent 版本、工作空间、API/SDK、治理仅在需求出现后考虑复杂微服务化

这些阶段不承诺固定周数。每个阶段必须以可运行、可测量、可恢复为退出条件,而非以页面或接口数量作为完成标准。

7.4 一个具体的故障场景 ​

假设调研 Agent 已收集 30 个来源,Worker 在分析阶段重启。系统应:

  1. 根据持久化 Run/Step 状态确认已完成与待执行步骤。
  2. 判断来源采集结果是否已经固定为 Artifact/Checkpoint,避免无谓重复抓取。
  3. 判断正在执行的外部工具调用是否存在未知结果,必要时查询外部状态而不是盲目重试。
  4. 重新调度允许恢复的步骤,保留重试次数和失败原因。
  5. 向用户展示“恢复中”及可解释的状态,避免误报“任务已完成”。
  6. 继续审核与交付流程,并保留完整的版本和事件链。

这一场景应在 S2/S3 阶段通过真实进程终止与恢复测试验证,不能仅以模拟界面状态代替。

08 · 非功能要求与工程验收框架 ​

8.1 质量属性 ​

质量属性建议关注的指标或证据解释边界
正确性状态机不变量、幂等、数据一致性Agent 业务输出质量需另测
可靠性Run 恢复成功率、失败原因覆盖、故障演练需定义统计窗口与排除条件
可用性API 可用性、关键流程成功率、错误预算原型阶段不应虚构 SLA
性能提交延迟、排队时长、执行耗时 P50/P95/P99模型延迟与平台延迟应区分
安全权限测试、秘密扫描、依赖扫描、审计覆盖工具沙箱不能只靠 Prompt 限制
数据保护备份成功、恢复点、恢复时间、保留删除验证RPO/RTO 需按业务需求确定
成本每个合格交付的成本、异常 token 用量估算费用与账单费用不同
质量引用准确性、审核通过率、事实核验覆盖评估器自身也存在误差
可维护性变更失败率、回滚时间、迁移测试不宜将代码行数视为核心指标
用户体验完成任务时间、失败可理解性、人工介入成本需真实用户或可重复任务测试

8.2 三类测试必须分开 ​

  • 平台工程测试:接口、状态、权限、并发、恢复、存储、部署。
  • Agent 行为测试:工具选择、工作流路由、上下文管理、边界行为。
  • 业务成果评估:报告的事实、引用、分析质量、格式与用户价值。

三类测试可以关联,但不能互相替代。例如 HTTP 200 不能证明研究报告正确,评估器给出高分也不能证明租户隔离安全。

8.3 验证声明 ​

本章所有建议的性能目标、SLO、测试案例和路线均为待实施的设计与验收框架。在没有真实工作负载、部署环境、测试数据和运行日志前,不给出伪造的可用率、吞吐量、故障恢复时间或成本节约比例。

09 · 部署、运行与维护的最低要求 ​

9.1 环境和交付 ​

建议区分本地开发、预发布和生产环境;环境间配置通过受控方式注入,密钥不进入 Git。数据库迁移需要可回滚或前后兼容策略;发布至少保留健康检查、日志、版本标识和故障回退路径。对有长期 Run 的系统,还应设计新旧 Worker 并存期间的工作流定义兼容性。

9.2 备份与恢复 ​

备份策略应覆盖数据库、对象存储、关键配置与密钥恢复流程。备份成功不等于可恢复:需要定期在隔离环境中执行恢复演练,并记录恢复点、耗时、权限和数据完整性检查。对外部模型或第三方 SaaS 的依赖,应明确哪些数据无法由平台独立恢复。

9.3 可观测性与告警 ​

从最初版本就应至少具备结构化日志、Run 事件、错误分类、请求关联 ID、模型/工具调用耗时和用量记录。随着系统增长,再引入更完整的 OpenTelemetry Trace、指标聚合和告警体系。日志中应默认避免记录明文密钥和不必要的用户敏感内容。

9.4 事故响应 ​

应明确值班责任或小团队的替代响应机制:告警确认、影响范围判断、临时缓解、恢复、对用户沟通和事后复盘。事故复盘要区分触发因素、系统性原因和检测缺口,不应仅将失败归咎于某一次模型输出。

10 · 风险、反模式与边界条件 ​

常见反模式直接风险改进方向
先建设完整微服务再验证需求协调、部署和排障成本过高按故障边界拆进程,按成熟度拆服务
将 Run 状态保存在前端或内存重启丢失、重复执行、不可恢复持久化状态机与任务记录
把重试当作所有失败的通用解法重复外部副作用、费用暴涨错误分类、幂等、退避和补偿
只记录“成功/失败”无法定位步骤、成本与质量问题分层事件、Trace、质量门禁
以 Prompt 代替权限控制越权访问、工具滥用服务端鉴权和执行隔离
所有任务都同步等待 HTTP 返回超时、断线、难以恢复异步 Run + 状态查询/事件订阅
将“模型回答不错”当作验收忽视安全、稳定性和一致性工程测试 + Agent 评估 + 业务审核
没有数据迁移和备份演练上线后不可控的数据损失迁移演练、备份恢复与回滚
过早追求通用插件市场扩大攻击面和维护负担先验证少量高价值集成
仅统计 token,不统计合格交付成本优化可能损害成果质量单位合格成果成本与质量联合衡量

11 · 六篇专题的统一研究规范 ​

为了让六篇文章能够互相引用和最终指导实际开发,建议每篇沿用统一研究要求:

  1. 先定义问题和适用范围:明确平台类型、目标用户、团队与运行条件。
  2. 区分事实与方案:官方文档/规范、公开产品观察、工程推论、Studio 设计分开标记。
  3. 展示取舍:至少比较主要替代方案及其代价,不只介绍推荐方案。
  4. 落到工程对象:在必要时提供组件图、数据流、状态机、接口、数据模型与配置示例。
  5. 提出验证方法:给出可执行的 PoC、测试条件、验收标准和失败判定。
  6. 明确未解决问题:标记依赖实际代码、流量、成本或用户研究才能回答的事项。
  7. 保留参考资料:优先官方规范、源码仓库和产品文档,注明版本与访问日期。

11.1 建议每篇包含的核心结构 ​

专题导读 → 原理与工程问题 → 候选方案/系统架构 → 工程实现 → 实验验证 → 局限与取舍 → 引用与证据说明。

其中 01 案例研究偏重事实核验与对比;02 偏重决策方法和 PoC;03 偏重系统设计;04 偏重阶段与依赖;05 偏重操作与恢复;06 偏重测试方法与持续优化。应按专题特征调整深度,避免为了形式整齐而机械重复。

12 · 本章的关键研究问题清单 ​

12.1 案例研究(01) ​

  • 哪些平台是低代码 Agent 构建器、开发框架、运行托管平台或企业 Agent 平台?比较对象是否同类?
  • 平台公开文档能证明哪些能力?哪些只是营销表述或推断?
  • 自建、托管和混合架构在权限、数据、成本、迁移方面有何差异?
  • 哪些设计模式适合 Studio,哪些不适合当前规模?

12.2 技术选型(02) ​

  • 当前代码与团队能力能支持什么技术组合?
  • Agent 编排、任务队列、持久执行引擎的边界在哪里?
  • 何时需要独立 Python Worker、Redis、PostgreSQL、对象存储或容器沙箱?
  • 如何用故障恢复和复杂审批场景验证候选技术?

12.3 系统设计(03) ​

  • 控制面与执行面怎样共享契约又避免紧耦合?
  • Run、Attempt、Step、Checkpoint、Approval 和 Artifact 的关系是什么?
  • 如何保证租户隔离、幂等、版本固定和操作审计?
  • 模型与工具失败时如何恢复,如何处理不可逆副作用?

12.4 开发路线(04) ​

  • 哪些能力构成最小可交付闭环?
  • 哪些工作是前置依赖,哪些可并行?
  • 如何从假数据产品原型迁移到真实后端?
  • 如何为每个阶段设立可验证退出条件?

12.5 部署运维(05) ​

  • 单机、容器、PaaS 与云原生部署分别适用于什么规模?
  • 如何配置环境、密钥、迁移、备份、日志、告警和成本控制?
  • 如何执行灰度发布、长时 Run 兼容与回滚?
  • 如何通过演练验证 RPO/RTO,而非只写文档?

12.6 测试优化(06) ​

  • 如何分离工程正确性、Agent 行为和成果质量?
  • 如何构造回归集、失败注入、并发测试、提示注入与越权测试?
  • 如何定义平台 SLO、质量指标、成本指标和用户体验指标?
  • 如何避免评估器偏差、测试数据污染和指标被优化目标扭曲?

13 · 章节完成标准与后续研究顺序 ​

本章可视为完成,需同时满足:

  • 六篇专题均有可核验的核心参考资料,事实与设计推论分离。
  • 01 的案例观察能够为 02 的技术选型提供证据。
  • 02 的选型能够解释 03 的架构决定及替代方案。
  • 03 的设计能够映射 P1 - P2 - P3 - P4 - P5 - P6 - P7 - P8 - P9 - P10 - P11 - P12 与 F1 - F2 - F3 - F4 - F5 - F6 - F7 - F8 - F9 - F10 - F11 - F12,且定义关键失败边界。
  • 04 的路线有阶段目标、依赖、风险和可验证验收标准。
  • 05 的运维设计覆盖发布、恢复、监控、安全和成本。
  • 06 的验证体系能够检验前五篇的关键主张。
  • Studio 示例至少贯通一次创建任务 → 执行 → 审批 → 产物 → 交付 → 故障恢复的完整场景。

下一篇:01 · 有哪些值得研究的 Agent Platform? - Platform Case Studies。 将建立案例筛选标准、产品类型分类、官方资料核验方法、对比维度和 Studio 可借鉴的架构/产品模式,避免把不同类型的框架和平台简单放在同一张功能排行榜上。

附录 A:参考文献与原始资料 ​

以下为本章的基础参考入口。具体专题应进一步核对对应版本、章节和产品更新日期;本章未对所有网页在当前日期进行实时复核。

  1. OpenTelemetry, Documentation:opentelemetry.io/docs 。用于分布式追踪、指标和日志的工程术语。
  2. OpenTelemetry, Semantic Conventions for Generative AI Systems:opentelemetry.io/docs/specs/semconv/gen-ai 。GenAI 遥测字段仍可能随规范版本变化,实施前应锁定版本。
  3. W3C, Trace Context:www.w3.org/TR/trace-context 。用于跨服务追踪上下文传播。
  4. Google, Site Reliability Engineering:sre.google/sre-book/table-of-contents 。用于服务可靠性、容量、故障和运维原则。
  5. Google, The Site Reliability Workbook:sre.google/workbook/table-of-contents 。用于 SLO、告警、事故处理与发布实践。
  6. OWASP, Top 10 for Large Language Model Applications:owasp.org/www-project-top-10-for-large-language-model-applications 。用于 LLM 应用威胁识别。
  7. NIST, AI Risk Management Framework:www.nist.gov/itl/ai-risk-management-framework 。用于 AI 风险治理框架。
  8. PostgreSQL, Documentation:www.postgresql.org/docs 。用于事务、并发、锁、数据完整性和备份。
  9. CNCF, Cloud Native Trail Map:github.com/cncf/trailmap 。用于云原生能力的阶段性参考,非强制技术路线。
  10. Kubernetes, Documentation:kubernetes.io/docs 。用于容器编排、部署与运维的候选方案研究,不代表 Studio 必须采用 Kubernetes。
  11. OpenAPI Initiative, OpenAPI Specification:spec.openapis.org/oas/latest.html 。用于 API 契约与开发者接口设计。
  12. CloudEvents, Specification:github.com/cloudevents/spec 。用于事件封装格式的候选规范。
  13. Temporal, Documentation:docs.temporal.io 。用于持久工作流引擎候选方案研究。
  14. LangGraph, Documentation:docs.langchain.com/oss/python/langgraph/overview 。用于状态化 Agent 编排的候选方案研究。
  15. Microsoft, Azure Architecture Center:learn.microsoft.com/en-us/azure/architecture 。用于架构决策与云系统设计模式。

附录 B:研究证据、验证声明与适用边界 ​

B.1 证据分类 ​

类型本文包含内容可信度与限制
标准/官方文档OpenTelemetry、W3C、OpenAPI、PostgreSQL 等参考入口需在具体实现时核对版本及适用条款
工程推论模块化单体起步、持久 Run、Worker 隔离、分阶段平台化属于设计判断,需结合真实项目验证
Studio 参考方案S0 - S4 阶段、参考架构、故障恢复示例未经现有代码审计与实测,不代表已落地
验证建议并发、恢复、幂等、安全、质量与成本测试测试尚未执行,不构成通过声明

B.2 未验证事项 ​

  • 尚未读取并审计 Studio 当前代码仓库,因此无法确认现有技术债、模块边界、数据库、部署和已实现功能。
  • 尚未测量真实并发、任务时长、模型用量、云资源成本和用户规模。
  • 尚未执行任何架构 PoC、故障注入、备份恢复、渗透测试或真实用户测试。
  • 参考文献是权威资料入口,不等于已经逐条核验本文所有工程判断;专题研究需要补充更精确的证据定位。

B.3 使用方法 ​

本章概述适合作为六篇专题的共同研究纲领、Studio 工程规划的初始检查表和后续架构评审的议题索引。它不应直接作为可部署的生产技术规格;实际实施前需要补齐现有代码审计、约束测量、技术选型、威胁建模、接口细化和验证记录。