Langchain

pip install firecrawl-py==0.0.20

from langchain_community.document_loaders import FireCrawlLoader

loader = FireCrawlLoader(
    api_key="YOUR_API_KEY", url="https://firecrawl.dev", mode="crawl"
)

docs = loader.load()

loader = FireCrawlLoader(
    api_key="YOUR_API_KEY",
    url="https://firecrawl.dev",
    mode="scrape",
)

data = loader.load()

npm install @mendableai/firecrawl-js

import { FireCrawlLoader } from "langchain/document_loaders/web/firecrawl";

const loader = new FireCrawlLoader({
  url: "https://firecrawl.dev", // 需要抓取的 URL
  apiKey: process.env.FIRECRAWL_API_KEY, // 可选，默认读取环境变量中的 `FIRECRAWL_API_KEY`。
  mode: "scrape", // 爬取模式。"scrape" 用于单个 URL，"crawl" 用于抓取所有可访问的子页面
  params: {
    // 参见 Firecrawl API 文档的可选参数
    // API 文档：https://docs.firecrawl.dev
  },
});

const docs = await loader.load();