CASES & EVIDENCE

拒绝纸上谈兵:先看系统在真实环境中跑通了什么。

这里汇集了 ZUAEF 的现场验证(Field Proof)、基准检验(Passed Proof)、垂直切片(Vertical Slice)与已落地的技术界面。每一项记录均明确标注其证据等级、运行前置条件、核心结论以及不可回避的局限。

一项工程验证的真正价值,不在于其形式看起来多么繁复玄奥,而在于它能帮工程师排除多少盲目乐观与自我欺骗。

Case 01

Telegram → Approval → WordPress

现场验证

Question

来自真实生产渠道的消息,能否平滑接入同一个 Agent 运行时?普通的内部思考与推演保持自主执行;唯有在涉及外部真实副作用时才主动挂起;待人工审批后从原断点优雅恢复续跑,并在真实业务系统中切实产生效用、固化不可篡改的执行收据?

Telegram → Gateway → FDE Agent → WordPress Capability → PausedRun → Human Approve → Resume → WordPress Effect → RunReceipt

现场实际运行记录

真实的 Telegram 交互消息经由网关接入 FDE 运行时。当执行流触及 WordPress 外部写操作时,运行时精准触发审批中断。待操作员完成授权,系统沿原断点恢复执行并顺利完成 WordPress 写入操作。该完整链路已被 FDE 规范确认为首个生产级现场验证(Field Proof 01)。

它证明了什么

  • 生产通讯渠道仅作为交互界面,绝非系统外挂的第二个 Agent 循环
  • 常规的内部推演与草稿起草无需强加繁琐的形式主义人工审批
  • 关键的外部持久化副作用能够被安全挂起、审查与无缝续跑
  • 操作员在审批决策前,能够清晰预览即将向外发出的确切内容与参数
  • 任务全生命周期终结后,留存坚实可复核的运行操作凭证

它没有证明什么

  • 不代表 Telegram 会是最终或唯一的产品交互形态
  • 不代表已完成与所有第三方系统的通用集成
  • 不保证 Agent 在面对任何非标准 WordPress 任务时均能完全自主跑通
  • 不直接等同于已为付费企业客户带来可量化 ROI 的商业案例

它改变了什么设计

现场交互界面严格限定为传输与渲染适配器;外部动作全面复用原生的安全审批与断点续跑机制,坚决拒绝额外造轮子去搞独立的 Bot 编排或外置审批系统。

Case 02

跨轮次业务上下文传承

已通过验证

Question

智能体能否在不依赖隐藏暗提示、不把上一轮推演试错误当成既定事实的前提下,持续稳健地复用真实客户与项目上下文?

场景

第一轮:客户反馈原方案过于模板化,要求结合历史客户背景与材料定向重写,且严格隐去价格敏感信息以备内审;第二轮:客户继续指出“行文语气仍有 AI 痕迹”,要求在完整保留既有客户背景的基础上再次润色。测试 Harness 将多轮对话深度绑定至真实业务案例(Case),并通过生产级 Gateway 与 Profile 接口真实跑通。

Harness 捕获的证据

  • Conversation Identity
  • Bound Case Identity
  • 初始与加载后的 Model-visible Tool Surface
  • Invoked / Dormant Domain
  • Case Reads / Writes
  • Material References
  • Artifact
  • Prior-history Continuity
  • 后续 Customer Delivery 的 Approval 行为
  • Run Receipts

这次证据支持什么

  • 多轮会话标识能够与具体的业务 Case 身份建立确定性绑定
  • 核心业务约束与客户背景能够跨越轮次精准传承,无需无脑重塞全部历史
  • 试错轨迹与客观业务事实保持物理隔离,避免幻觉在轮次间污染
  • 内容创作产物能够即时呈现在当前用户界面,而绝不误触发对外交付

这次证据不支持什么

  • 不代表通用场景下的终极长期记忆问题已彻底攻克
  • 不保证在极端无限长度的对话下信息无任何语义损耗
  • 不声称已在真实付费客户侧达到完美的质量满意度
  • 不强制所有业务领域均套用单一固化的 Case 结构

它改变了什么设计

持久业务信念、会话连续性与底层操作轨迹保持三权分立,坚决拒绝将其囫囵吞枣地塞进单一超长 Prompt 或单点状态字段中。

为什么重要

业界多数所谓的“记忆 Demo”,仅仅是将历史聊天记录机械拼接回 Prompt。本项验证直面更本质的工程难题:如何在完整保留宝贵业务连续性的同时,严格隔离持久业务事实(Durable Situation)、运行轨迹(Trajectory)与外部交付语义。

Case 03

写作场景下的精准上下文传递

已通过垂直切片

Question

运行中的 Agent 能否通过专业能力主动汲取所需的真实写作素材与证据支撑,而非只能依赖宿主环境在运行前喂入一个精心编排的完美 Prompt?

Agent → Writing Capability → Material / Knowledge / Evidence Access → Claim Check → Saved Artifact → Receipt

当前仓库记录

当前代码仓库已将跨测试套件的独立上下文传递验证(Context Delivery Proof)标记为通过(PASS)。真实 Agent 能够通过写作能力自主调取源材料与关联上下文,并持久化生成最终成果文件(Artifact)与运行凭证。

它证明了什么

  • 业务上下文支持按需渐进式装载与渐进披露(Progressive Delivery)
  • 专业写作领域逻辑能够平滑复用统一的核心架构缝隙
  • 信息检索与素材筛选的认知负载能够切实下放给模型分担
  • 最终成果物与客观执行凭据,与模型的主观口头陈述完全解耦

这次证据不支持什么

  • 不代表调用工具的频次越多,生成的文章品质就必然越高
  • 不代表向 Prompt 机械灌输技巧提示词就一定能提升产出水准
  • 不代表存在某种可以一劳永逸硬编码的万能写作流水线
  • 不宣称已彻底替代专业人类编辑的最终把关能力

它改变了什么设计

将上下文传递与产物存证同人类实际写作质量评估明确解耦;写作技巧类实验严格收敛在研究板块,唯有其实际提升人类偏好得分时,才沉淀为标准能力。

仍然没有解决的问题

上下文传递链路验证通过,绝不代表每一篇文章都能达到顶尖文采。行文节奏、总结意图、技法取舍、文字质感与人类专家的审美偏好,依然需要独立的专业评价体系。

Case 04

Agent Console:让复杂运行轨迹清晰可核查

已实现技术表面

Question

长耗时且跨步骤的复杂运行过程,能否作为完整的执行轨迹被透明审查,而非被粗暴折叠为聊天框里的最后一条消息?

已实现技术表面

Agent Console 全面集成了 Run 运行列表、权威状态投影(Run Projection)、单步执行轨迹、事件审查器、产物抽屉,以及由服务端失效驱动的实时跟随,并支持回溯查看历史事件时自动冻结跟随的防抖动机制。

Server-Sent Events 仅充当轻量变更通知信标;服务端状态投影始终保持权威,坚决不引入第二套混乱的前端时间线数据源。

这次证据支持什么

  • 底层枯燥的执行证据能够被直观投影为人类友好的运维审计界面
  • 操作员能够随时从最终产物一键下钻至具体的单步执行轨迹
  • 前端界面严格保持服务端权威状态投影的一致性

这次证据不支持什么

  • Run Analysis 深度运行分析仍在积极工程开发中,尚未完成交付
  • 当前 Console 属于技术控制面,不等于全功能人机协同工作台 (Human-Agent Workbench)
  • 不宣称某种可视化界面能自发改善大模型底层的业务决策质量

它改变了什么设计

运行检查继续建立在持久化执行事实上。Run Analysis 保持为单独标注的下一层,不从 Timeline UI 暗示为已完成。

每一项严谨的工程验证,都必须完整穿透四个层面。

1

Input(现场输入)

操作员或外部环境实际给出了怎样的指令与边界材料?

2

Decision Path(决策路径)

哪些行为出自模型的主动推演,哪些属于宿主环境的确定性规则?

3

Effect(真实效用)

究竟沉淀了什么产物、引起了何种状态流转,抑或在外部系统中触发了哪些实际动作?

4

Evidence(客观凭证)

在任务结束后,能够依托哪些持久化记录与收据来复核这条结论?

若缺失其中任何一层,该结果或许仍具实验参考意义,但绝不应被轻易冠以“完整现场验证(Field Proof)”之名。

真实的工程检验,不是自欺欺人的跑分表演(Benchmark Theater)。

严谨的验证完全允许证明失败。在真实工程中,以下结论同样具有极高价值:

  • 大模型在特定情境下选调了错误的工具能力
  • 上下文过度膨胀导致推演质量断崖式下跌
  • 工具调用循环(Tool Loop)陷入无意义的重复空转
  • 某些主观设定的写作规则反倒让输出文本显得更加僵化
  • 一个潜在高危的外部写操作被安全策略成功拦截挂起
  • 新增加的一整套华丽架构并没有为最终交付物带来可度量的提升

我们的目标是让系统的每一个行为都具备可证伪性,而不是把每一次摸索都包装成皆大欢喜的成功战报。

证据支持到哪里,结论就严谨地书写到哪里。