【langfuse】一个让大模型应用开发不再“黑盒”的开源观测平台

作者提米哥

Langfuse 是一个开源的 LLM 工程平台，专为解决 AI 应用开发中「看不见、调不好、评不准」的核心痛点而设计——它让原本难以追踪的 LLM 调用、提示词迭代、评估反馈和调试过程变得可视化、可协作、可复现。

主要功能特性

  • LLM 应用可观测性（Tracing）：自动捕获 LLM 调用、检索、嵌入、Agent 执行等关键链路，支持完整用户会话追踪与交互式调试。
  • 提示词统一管理（Prompt Management）：提供版本控制、团队协作编辑、客户端/服务端强缓存，确保提示词变更零延迟上线。
  • 灵活评估体系（Evaluations）：支持 LLM 自评、人工标注、用户反馈收集，以及通过 API/SDK 自定义评估流水线。
  • 结构化数据集（Datasets）：用于构建测试集与基准，支撑预发布验证、A/B 实验和持续效果监控。
  • 交互式提示词沙盒（LLM Playground）：一键跳转至 Playground 快速重试失败请求，大幅缩短提示工程反馈周期。
  • 全栈 API 支持：提供 OpenAPI 规范、Postman 集合及 Python/JS/TS 类型化 SDK，便于集成进自研 LLMOps 流程。

快速上手示例

安装依赖并配置环境变量后，仅需几行代码即可开始追踪： 

pip install langfuse openai

创建 .env 文件： 

LANGFUSE_SECRET_KEY="sk-lf-..."
LANGFUSE_PUBLIC_KEY="pk-lf-..."
LANGFUSE_BASE_URL="https://cloud.langfuse.com"

在 Python 中添加追踪装饰器： 

from langfuse import observe
from langfuse.openai import openai

@observe()
def story():
    return openai.chat.completions.create(
        model="gpt-4o",
        messages=[{"role": "user", "content": "What is Langfuse?"}]
    ).choices[0].message.content

@observe()
def main():
    return story()

main()

运行后，所有调用将实时呈现在 Langfuse 控制台中，支持逐层展开、时间轴分析与上下文比对。

适用场景与目标用户

Langfuse 特别适合以下场景：
– 团队正在构建基于 LangChain、LlamaIndex、AutoGen、CrewAI 等框架的复杂 Agent 或 RAG 应用；
– 需要对提示词进行高频 A/B 测试与版本回滚（如 SaaS 产品中的个性化生成模块）；
– 已上线 AI 功能但缺乏质量监控手段，亟需建立用户反馈→评估→优化的闭环；
– 希望在私有环境中部署完整可观测能力，同时兼容 Ollama、Bedrock、本地 VLLM 等多后端模型。
目标用户包括 AI 工程师、LLM 应用开发者、MLOps 工程师，以及重视合规与数据主权的技术决策者。

总结

Langfuse 以扎实的开源定位、开箱即用的集成生态（覆盖主流框架与工具链）和真正面向工程落地的设计，成为当前少有的、能贯穿 LLM 开发全生命周期的可观测性平台。它不试图替代模型或框架，而是专注做“AI 应用的 DevTools”——让每一次 chat.completions.create() 都可追溯、可分析、可改进。对于任何认真对待 LLM 工程化的团队，Langfuse 值得作为标准基础设施纳入技术栈。

作加

微信联系：timidamen

类似文章