Firecrawl — WebサイトをLLM向けMarkdownに変換・収集するデータ基盤ツール
firecrawl/firecrawl
★ 204,306 ・ TypeScript ・ AGPL-3.0
概要
Firecrawlは、Webサイトのコンテンツを取得し、AIエージェントや大規模言語モデル(LLM)が扱いやすいクリーンなMarkdownや構造化データへと変換するためのデータ収集基盤です。リポジトリでは「AIエージェントをより賢くするためのナレッジインフラ」と位置づけられています。
通常のWebスクレイピングツールとは異なり、LLMが不要なHTMLタグや装飾情報にトークンを消費しないよう、コンテンツを整形して出力することに最適化されています。AIエージェントの開発者やRAG(検索拡張生成)システムを構築している開発者、またはCursorやClaudeといったAIエディタ・CLI環境から直接Web情報を取得させたいユーザーに向いているツールです。
利用形態としては、ローカル環境で単一バイナリとして動作する「Firecrawl Local」、ホスト型マネージドサービスの「Firecrawl Cloud」、そして自社インフラにキューやワーカーを含めて展開する「Self-hosting」の3通りが用意されています。
主な特徴
- 3つの利用形態に対応: ローカルマシン上で手軽に完結するFirecrawl Local、大規模処理やWeb検索・独自データ連携に対応したFirecrawl Cloud、独自のインフラへ展開可能なセルフホスト型APIサーバーから選択できます。
- LLM向けに最適化された出力: Webページをスクレイピングし、ノイズの少ないMarkdownやプレーンなHTML、リンク一覧を取得できます。Cloud版では構造化JSONや要約、スクリーンショットの取得にも対応しています。
- 主要AIツールへのMCPサーバー自動登録:
firecrawl-local initコマンドを実行することで、Claude Code、Claude Desktop、Cursor、Windsurf、Gemini CLI、Codexなどの設定ファイルを検出し、Model Context Protocol(MCP)サーバーとして手軽に登録できます。 - クローリングとサイトマップ生成: 単一ページの取得だけでなく、指定したURL配下を巡回してページごとにMarkdownを保存するクローリング機能や、サイト内のURL一覧を抽出するマッピング機能を備えています。
- ローカルブラウザ連携とドキュメント解析: JavaScriptのレンダリングが必要なページはローカルに導入済みのChromeやChromiumを利用して処理されます。また、PDFやOfficeドキュメントの解析もローカル環境内で実行可能です。
- 自然言語によるブラウザ操作(Cloud): Cloud版では「Interact」機能を提供しており、自然言語のプロンプトやコードを通じて検索窓への入力やボタンクリックなどのページ操作を実行できます。
使い方
READMEには、Firecrawl Local(Rust製バイナリ)のセットアップおよびCLI実行手順、各種SDKやcURLからの呼び出し例が記載されています。
1. Firecrawl Local のインストール
Firecrawl Localはcrates.io経由で配布されており、RustおよびCコンパイラ(macOSでは xcode-select --install、Debian/Ubuntuでは build-essential)が必要です。
cargo install firecrawl-local
Rust環境を構築せずに手軽に試したい場合は、Cloud版を利用したnpxコマンドも案内されています。
npx -y firecrawl-cli@latest scrape https://firecrawl.dev
2. 基本的なCLI操作
ページのMarkdown出力を標準出力に表示するには、scrape コマンドを使用します。
firecrawl-local scrape https://firecrawl.dev --markdown
サイト全体をクローリングして、ページごとにMarkdownファイルとして保存する場合は crawl を使います。
firecrawl-local crawl https://docs.firecrawl.dev --limit 50 --out ./pages
サイト内のすべてのURLを一覧表示するには map を実行します。
firecrawl-local map https://firecrawl.dev
3. AIツールへのMCPサーバー設定
AIツールと連携させる場合は、以下のコマンドを実行します。設定ファイルのバックアップが行われた上で、各ツールへMCPサーバーとして追加されます(Node.js 22以上が必要です)。
firecrawl-local init
4. ローカルAPIサーバーの起動とSDK連携
ローカルマシン上でFirecrawl v2 API(ポート3002)をホストすることも可能です。ローカルルートのアクセスにはAPIキーは不要です。
firecrawl-local serve
Python SDKから利用する場合は、api_url にローカルアドレスを指定して接続します。
from firecrawl import Firecrawl
app = Firecrawl(api_url="http://localhost:3002")
print(app.scrape("https://firecrawl.dev").markdown)
5. Firecrawl Cloud を使った検索と操作(Interact)
Cloud版では、Web検索や自然言語によるWebページ操作が提供されています。
Web検索の例(Node.js):
import { Firecrawl } from 'firecrawl';
const app = new Firecrawl({apiKey: "fc-YOUR_API_KEY"});
app.search("firecrawl", { limit: 5 });
ページを操作する「Interact」の例(Python):
from firecrawl import Firecrawl
app = Firecrawl(api_key="fc-YOUR_API_KEY")
result = app.scrape("https://amazon.com")
scrape_id = result.metadata.scrape_id
app.interact(scrape_id, prompt="Search for 'mechanical keyboard'")
app.interact(scrape_id, prompt="Click the first result")
技術的なポイント
- アーキテクチャの分割: リポジトリ内は、セルフホスト用の完全なAPIサーバー(
apps/api)と、単一バイナリで動作するローカルツール(apps/local)に分かれています。言語構成としてはTypeScriptがメインでありながら、LocalコンポーネントはRust(crates.io配布)で構成されています。 - ローカルリソースの活用: Firecrawl Localでは、外部のデータベースやRedis、コンテナを必要とせず単体で起動します。動的Webページの描画にはマシン上の既存のChrome/Chromiumを利用し、ブラウザが存在しない環境でも静的HTMLの取得はそのまま行えるフォールバック設計になっています。
- MCP(Model Context Protocol)ネイティブ対応: ClaudeやCursorなどの開発ツールが採用する標準プロトコルであるMCPに対応しており、ローカルでのスクレイピングやクローリング処理をAIエージェントのツール(Tools)として直接実行させることができます。
- Cloudとのフォールバック連携: Local実行時、ローカルマシン側でロードできなかった単一ページはデフォルトでFirecrawl Cloud側へリクエストが転送され、取得結果に
"source": "firecrawl-cloud"が付与されます。外部通信を完全に防ぎたい場合は、環境変数FIRECRAWL_CLOUD=offを設定することで全処理をローカルに制限可能です。 - APIの互換性:
firecrawl-local serveは本番API(Firecrawl v2 API)と同じインターフェースをポート3002でリッスンするため、公式SDK(Python、Node.jsなど)の接続先URLを書き換えるだけでローカルとクラウドを切り替えられます。
注意点
- ライセンス(AGPL-3.0): 本リポジトリのライセンスは GNU Affero General Public License v3.0(AGPL-3.0)です。ネットワーク経由でサービスを提供する改変ソフトウェアにもソースコード開示義務が生じる可能性があるため、社内利用や商用サービスへ組み込む際はライセンス要件を事前に確認する必要があります。
- 動作要件: Firecrawl Localをビルドして利用するにはRustおよびCコンパイラが必要です。また、MCPサーバー機能の動作にはNode.js 22以上の環境が求められます。
- ブラウザへの依存: JavaScriptの実行を伴う動的サイトの取得には、ローカル環境にChromeまたはChromiumがインストールされている必要があります。ブラウザが検出されない場合、JavaScriptが必要なページでは警告が返されます。
- 機能差分: Web検索(Search)、Alexandria(550以上のデータプロバイダ)、自然言語ページ操作(Interact)、Agent機能などはFirecrawl Cloud側の機能であり、Local単体では実行できないかCloudへの通信が必要となります。
まとめ
Firecrawlは、Webスクレイピングやクローリングの結果をLLMが直接消費しやすいMarkdown形式で提供するデータ基盤です。ローカル環境での軽量な単一バイナリ実行から、主要AIエディタへのMCP連携、セルフホストやマネージドCloudまで、開発規模に応じた多様な導入形態が整えられています。





