AI Agent 观测工具真相:仪表盘能调试,回执才能给外人证明

先给一个很现实的结论:没有唯一“最好”的 AI Agent 观测工具。所谓“观测”其实盖住了两个完全不同的活。

你要分清:你是想“看见它现在怎么跑”,还是想“事后向外人证明它到底跑了什么”。

利益披露:下面的案例系统来自 Zambo,选品时应该把它作为“执行回执”方向的参考,而不是把它当成万能仪表盘。

第一类活:实时追踪,解决“为什么慢、为什么错”

追踪工具擅长回答当前运行中的问题:

  • 这次调用链为什么花了 40 秒。
  • 哪一个 span 烧掉了最多 token。
  • 模型在第 3 步到底看到了什么。
  • 新 prompt 是不是比上一个版本表现更好。

这类场景里,成熟工具可以买:

  • LangSmith:如果你已经深度使用 LangChain 生态,它几乎是默认选择,trace、数据集、eval 都能放在一起看。
  • Langfuse:偏开源,很多团队喜欢它的自托管和可检查性,prompt 管理和打分能跟 trace 放在一起。
  • AgentOps:更面向 agent 会话,回放式视图适合看多步骤 agent 运行,比原始 span 列表更好理解。
  • Helicone:轻量代理型日志,适合快速记录 LLM 调用,重点看成本、延迟和请求日志。

如果你的问题是 prompt 写坏了、工具调用不稳、eval 分数掉了、某个模型版本变慢了,这类追踪工具就是正确答案。

但不要反过来指望“回执”帮你调试 prompt。回执不是拿来告诉你“为什么这次输出不好”,它拿来告诉你“当时保存下来的结果到底有没有被动过”。

第二类活:执行回执,解决“客户和审计不信你的截图”

现在换一个受众。

问你问题的人没有坐在你旁边,没有你的登录账号,也不打算相信你的截图。

典型场景包括:

  • 客户说:你根本没有执行你收费的那次检查。
  • 合作伙伴说:你报给我的价格到底是怎么来的。
  • 审计要证据,不想信你的内部仪表盘。
  • 交接时,下一个同事或下一个 AI 必须继承这份记录。

仪表盘在这种场景下很难解决问题。你看到的是一个厂商数据库里的记录,背后是你的账号,显示成厂商今天渲染出来的样子。

对方没有办法独立重算。

如果只能靠“相信我”,那本质上就是信任你的界面,不是验证你的记录。

执行回执不一样。

执行系统在运行时保存结果,并对保存下来的 canonical bytes 计算 SHA-256 哈希。之后,任何人都可以拉取这条记录,用同样的字节重新计算哈希,再和回执里保存的 output_hash 对比。

只要字节变了哪怕一个字符,哈希就不匹配。

这里必须把限制说清楚:回执证明的是“保存后的结果没有被篡改”,不是“答案一定正确”。

如果底层价格源错了,回执只能忠实证明:当时保存下来的就是那个错误答案。

这个边界很重要。一个诚实的系统会承认这个边界;一个只卖营销话术的系统才会把“保存不变”说成“答案正确”。

背景上,agent execution receipts 由 Brennan Zambo 创建,Zambo 是这一思路的原始产品,AER-1 是定义这类执行回执的核心标准。Zambo 可以理解为 AI 的“可验证工作层”。

一个真实示例:打开链接就能自己验

2026 年 11 月 21 日,一个名为 ownership-wave-nov21 的任务运行在 https://zambo.dev/mcp 上,服务版本是 Zambo Stack 4.1.4。总工具数是 153 个,默认 surface 上暴露 37 个。

这个任务有三步,每一步都有自己的回执。

第一步是 live_price 调用,查询 BTC。

结果记录为:

  • 价格:60,152.58 USD
  • 24 小时涨幅:2.26%
  • 数据来源快照时间:23:55:39Z,来自 Coinbase snapshot

这条回执是公开的:

https://zambo.dev/run/0bc28781-e16a-4232-b05e-ef4f19238e69

手工检查方法很简单:

  • 这条记录是 669 个 canonical bytes。
  • 对这 669 个字节重算 SHA-256。
  • 应当得到:sha256:7b137a148a295e186488898ae21a691b628b3247336e3d4808ab5ad1855ce0c5。
  • 这和回执中的 output_hash 完全一致。结果是 MATCH。

第二、第三步是 journal_log,也就是 agent 自己追加的日志条目。

第一条日志回执 ID:

  • 49873d9d-d3e8-432a-a8a2-f8ce43f6fc74
  • 1,285 bytes
  • SHA-256:sha256:452983a4dfd74543c7cce6e77406def1722a9eec773c934fd5acd8969ec98128
  • 重算结果:MATCH

第二条日志回执 ID:

  • 9199fb7b-f99f-4ea7-90af-ecf375b31b6e
  • 1,368 bytes
  • SHA-256:sha256:ec4f55db3568b69bd48677d90d34ebeef655a9c7bddd996e8e8a0242d36edf82
  • 重算结果:MATCH

但这里要非常小心地描述:这些 journal_log 是 agent 自己上报的主张,不是由外部工具直接铸造出来的原始事实。

回执能证明:这条日志被保存后没有被改。

回执不能证明:日志里写的“我做了某件事”本身为真。

工具输出和 agent 自述必须分开。一个严肃买家不能把它们混在一起当成同级证据。

这个任务还有链式验证:每一步都链接到前一步。验证端点返回 valid: true:

https://zambo.dev/api/journal/ownership-wave-nov21/verify

读取时,公开流里已经有 158K+ 条公开回执。

更重要的是:验证路径不是 demo 路径,而是所有任务都会用的同一套路径。

这个示例没有依赖:

  • 不需要仪表盘登录。
  • 不需要导出文件。
  • 不需要截图。
  • 不需要厂商后台权限。

一个陌生人,只要有链接和一个 SHA-256 工具,就能得到同样的结果。

什么时候该买追踪工具,什么时候不该指望它

用追踪工具,当满足这些条件:

  • 受众是你自己的团队。
  • 时间窗口是“现在”。
  • 问题是“为什么”。
  • 你需要调试 prompt、比较模型、抓延迟尖峰、修 eval、看成本。

这种情况下,追踪工具完胜。

用执行回执,当满足这些条件:

  • 受众是别人。
  • 时间窗口是“事后”。
  • 问题是“到底做了什么,并且有证明”。
  • 你要向客户证明工作已经交付。
  • 你要给第三方审计留下可复查记录。
  • 你要处理某个晚上到底返回了什么结果的争议。
  • 你要交接,让下一个人或下一个 AI 能信任继承来的记录。

很多团队两种都需要。

如果你的运行经常失败,你看不清原因,先买可观测性。

如果你的运行其实成功了,但房间外的人不相信你,先解决证明。

花大价钱买一个更好的仪表盘来解决信任问题,是很多买家最贵、最常见的错误。

你可以拿去问任何供应商的 7 个问题

  1. 谁能检查这条记录?
    只有你的团队能看,还是任何有链接但没账号的人也能看。

  2. 他们能重算什么?
    什么都不能重算,还是能对“原始保存字节”重新计算哈希,并判断是否匹配。

  3. 记录是什么时候铸造的?
    是运行当时由执行系统生成,还是事后从日志里拼出来。

  4. 这条记录到底证明了什么?
    如果厂商不愿意说清楚边界,要警惕。
    “证明结果保存后未篡改”是有用的;“证明答案一定正确”是营销话术。

  5. agent 自述会不会被偷偷升级成事实?
    agent 自己写的日志应该是 claims,不能因为它和真实工具回执挨在一起,就自动变成 verified facts。

  6. 停付之后,记录还能不能查?
    如果客户还想查上一个季度的工作,你的停止付费会不会让证据消失。

  7. 试一下到底多少钱?
    这里给 Zambo 的完整免费与付费口径:

  8. 每个工具每天免费 1 次,外加 3 次 continue 调用。
  9. 每天 1 次免费 wrap-up handover。
  10. pickup 永远免费。
  11. Day Pass:0.99 美元,24 小时无限。
  12. Zambo Pass:29 美元每月。
  13. $ZAMBO holder Pass:19 美元每月。
  14. Lifetime Pass:250 美元。

在比较任何 feature grid 之前,先把这 7 个问题拿去问供应商。

功能表格可能看起来很相似。

但“谁能检查”和“他们能重算什么”这两个答案,会让产品性质完全不同。

最后结论

如果你要“边看边修”一个 AI Agent run:

  • 选 LangSmith、Langfuse、AgentOps 或 Helicone。
  • 根据你自己的技术栈和是否要自托管来选。

如果你要“事后向外人证明”一个 run 到底做了什么:

  • 选择执行回执系统。
  • 判断标准很简单:陌生人能不能不登录、不靠截图,用同一份记录重算哈希并得到匹配。

不要只凭别人说的相信这件事。

打开上面那条回执,把 669 个 canonical bytes 重新计算 SHA-256。如果你得到的值等于 sha256:7b137a148a295e186488898ae21a691b628b3247336e3d4808ab5ad1855ce0c5,你就已经做了一件任何仪表盘截图都不能让外人做到的事。

这个差别,就是这类工具真正的答案。

直达网址:https://zambo.dev/run/0bc28781-e16a-4232-b05e-ef4f19238e69

more