【firecrawl】让 AI 智能体读懂网页:从本地抓取到云端搜索的数据引擎
项目是什么
它是一套面向 AI 智能体的网页知识基础设施,可以把网站、搜索结果的文档资料转换为更适合模型消费的内容,例如干净 Markdown、HTML、链接、结构化 JSON、搜索结果以及可交互的网页操作结果。它解决的是智能体在联网获取真实信息时常见的问题:网页内容噪音多、动态页面难以处理、批量抓取复杂、本地工具接入麻烦,以及不同 AI 客户端之间缺乏统一的数据与工具接口。
主要功能特性
-
本地运行网页抓取
可以在自己的机器上运行,把网站转换为干净 Markdown。本地模式支持抓取、爬取和站点映射,无需数据库、队列或容器,以一个本地二进制形式使用。 -
支持动态页面与文档
如果本地已有 Chrome 或 Chromium,需要 JavaScript 渲染的页面可以在本机处理;PDF 和 Office 文档也可在本地解析。没有浏览器时,静态页面仍可抓取,需要浏览器的页面会给出提示。 -
AI 工具快速接入
提供本地初始化命令,可自动识别并接入 Claude Code、Claude Desktop、Cursor、Windsurf、Gemini CLI 和 Codex 等 AI 工具,将其配置为 MCP server。配置文件会被自动备份,MCP server 本身需要 Node.js 22 或更新版本。 -
本地 API 服务
可以在localhost:3002启动 Firecrawl v2 API。已经适配 Firecrawl 的代码可以把 API 地址指向本地服务,本地接口不需要 API key。 -
云端扩展能力
云服务提供与本地抓取一致的核心能力,并增加结构化 JSON、摘要、截图、浏览器动作、搜索、Interact、Agent、Monitor 等功能,适合更大规模或更复杂的 AI 应用。 -
搜索与大规模数据源
云端支持网页搜索,并可结合 550+ 数据源,覆盖人物、公司、研究论文等知识库信息。本地模式也能通过云端完成搜索或访问这些数据源,通常需要登录账号。 -
智能体自主获取信息
云端 Agent 能力允许用户用自然语言描述需求,由 AI 自动搜索、浏览和提取结果。也可以传入 schema,让返回结果结构化,便于程序处理。 -
网页交互能力
可以先抓取页面,再通过自然语言指令对页面进行交互,例如填写搜索词、点击结果等,适合需要从网页中动态获取信息的场景。 -
多语言 SDK 支持
提供 Python、Node.js 等 SDK,也支持 Go、Java、Rust、Ruby、.NET、PHP、Elixir 等语言接入。SDK 可以自动处理异步任务,例如站点爬取完成后的轮询。 -
集成生态
支持 CLI、MCP、Skills Catalog,并可与 Lovable、Zapier、n8n 等平台集成,方便嵌入现有工作流或 AI 产品。 -
可自托管部署
如果不想使用云服务,也可以在自有基础设施上部署完整服务器,包含队列、worker、数据库等服务。文档提到可使用 Docker Compose、Kubernetes manifests 和 Helm chart。自托管服务器不包含 Alexandria。 -
合规默认与用户责任
默认会尊重网站的 robots.txt 指令。最终用户仍需自行遵守目标网站的隐私政策和使用条款。
安装与快速使用
如果要在本机使用 Firecrawl Local,需要先安装 Rust 和 C 编译器。在 macOS 上通常可以先执行:
xcode-select --install
在 Debian 或 Ubuntu 上通常需要安装 build-essential。然后可以通过 Cargo 安装本地工具:
cargo install firecrawl-local
安装后,可以抓取单个页面并输出 Markdown:
firecrawl-local scrape https://firecrawl.dev --markdown
可以爬取一个站点,并把每个页面保存为单独的 Markdown 文件:
firecrawl-local crawl https://docs.firecrawl.dev --limit 50 --out ./pages
可以列出站点中的全部 URL:
firecrawl-local map https://firecrawl.dev
如果希望把它作为 MCP server 接入本地 AI 工具,可以执行:
firecrawl-local init
执行后重启相关 AI 工具即可。它的抓取、爬取、站点映射和批量抓取工具会在本机运行,其他部分功能则会连接到云端服务。
如果需要在本地启动 Firecrawl API 服务,可以执行:
firecrawl-local serve
默认端口是 3002。之后可以在代码中把 API 地址指向本机:
from firecrawl import Firecrawl
app = Firecrawl(api_url="http://localhost:3002")
print(app.scrape("https://firecrawl.dev").markdown)
如果不想安装 Rust,也可以直接试用云端 CLI 抓取:
npx -y firecrawl-cli@latest scrape https://firecrawl.dev
云端 SDK 的典型使用方式如下:
from firecrawl import Firecrawl
app = Firecrawl(api_key="fc-YOUR_API_KEY")
result = app.scrape("https://firecrawl.dev")
print(result.markdown)
search_result = app.search("firecrawl", limit=5)
print(search_result)
适合哪些场景使用
1. 给 AI 智能体补充实时网页信息
对于需要联网获取最新资料、文档、新闻、价格、公司信息等内容的 AI 智能体,这个工具可以把网页内容整理成更容易被模型使用的形式,减少模型直接处理原始 HTML 时的噪声。
2. 构建本地优先的智能体工作流
如果希望核心抓取任务在本机完成,不想一开始就依赖云端服务,Firecrawl Local 很适合。它可以在本地执行抓取、爬取和站点映射,同时保留按需连接云端的灵活性。
3. 为常见 AI 编程与对话工具扩展能力
对于使用 Claude Code、Cursor、Windsurf、Gemini CLI、Codex 等工具的用户,本地 MCP 接入比较友好。通过一条命令即可将网页抓取、爬取和站点映射能力暴露给 AI 客户端。
4. 需要搜索、解析和自主探索的云端应用
当需求不只是“抓取一个网页”,而是包括网页搜索、结构化 JSON、截图、浏览器动作、AI Agent 自主查找信息、页面交互或监控时,云端能力更完整。
5. 需要团队化或规模化部署的数据工程场景
如果项目需要稳定运行大量抓取任务,或者希望部署在自己的基础设施上,可以选择云端服务或自托管服务器。多语言 SDK 与异步任务支持也方便接入现有后端、数据管道或自动化系统。
目标用户是谁
主要适合以下几类用户:
- AI 应用开发者:需要为智能体、RAG 系统、对话机器人或自动化工作流接入网页数据。
- 数据工程师:希望批量抓取、爬取或映射网站内容,并将结果标准化后进入数据库、向量库或分析系统。
- AI 工具用户与开发者:想把网页抓取能力接入 Cursor、Claude Code、Windsurf、Gemini CLI、Codex 等本地 AI 环境。
- 需要本地处理或自托管控制的团队:关注数据路径、隐私、合规或本地开发体验,希望先在单机运行核心功能。
- 自动化与平台集成用户:准备将网页搜索、抓取、交互或结构化抽取接入 Zapier、n8n、Lovable 等自动化或低代码平台。
总结
整体来看,这个项目的定位比较清晰:它不是单纯的网页抓取器,而是面向 AI 智能体的网页数据层。它的优势在于同时提供了本地运行、云端服务、MCP 接入、SDK 和自托管部署,覆盖从个人开发者到团队应用的常见使用路径。对于只需要把网页变成干净 Markdown、并快速接入本地 AI 工具的用户,本地模式已经足够轻量;对于需要搜索、结构化抽取、Agent 自主浏览和大规模处理的用户,云端能力更完整。
需要注意的是,本地模式更聚焦于基础抓取、爬取和映射,部分高级能力如结构化 JSON、Interact、Agent、Monitor 和 Alexandria 数据源更适合在云端使用。项目主要采用 AGPL-3.0,SDK 和部分 UI 组件采用 MIT 许可证,并默认尊重 robots.txt 指令。整体适合作为 AI 智能体获取网页知识的统一入口。