DataCat — DatadogやOTel互換のセルフホスト型可観測性プラットフォーム
replit/datacat
★ 494 ・ TypeScript ・ Apache-2.0
概要
DataCatは、自前のインフラストラクチャ上で運用できるセルフホスト型のオブザーバビリティ(可観測性)プラットフォームです。メトリクス、ログ、分散トレースの収集と可視化、ダッシュボードの構築、アラート通知など、システムの監視に必要な機能を単一のシステムとして提供します。
外部のSaaS型監視サービスやホスト型アカウントを契約することなく、すべて自前の環境内で完結させることが可能です。ストレージには標準でPostgreSQLを採用しており、設定に応じてClickHouseにテレメトリデータを格納する構成も選択できます。
また、データ収集インターフェースとしてOpenTelemetryプロトコル(OTLP/HTTP)とDatadog AgentのインテークAPIの両方に対応しているため、既存の監視エージェントや計装コード資産を流用しやすい設計になっています。自社運用インフラで監視データを保持・管理したい開発者や運用チームに適したツールです。
主な特徴
DataCatには、監視・運用を支える以下のような主要機能が備わっています。
-
メトリクスの可視化とダッシュボード
メトリクスエクスプローラー、計算式(formulas)、カスタムダッシュボード、およびホストマップの表示に対応しています。 -
ログ検索・ライブテイル・トレース連携
ファセット検索によるログの絞り込み、リアルタイムでログを追跡するライブテイル、トレース情報との相関付け(trace correlation)をサポートしています。 -
APMと分散トレーシング
サービスカタログ、トレースエクスプローラー、ウォーターフォール表示を備えており、リクエストの流れやボトルネックの特定を支援します。 -
統合アラート通知機能
メトリクス、ログ、トレースを条件にしたモニターを作成でき、WebhookやSlackを通じたアラート通知を実行できます。 -
マルチテナントとアクセス管理
組織(Organizations)の作成、ローカルアカウント認証、1回限りの招待リンク(single-use invites)、APIキーおよびアプリケーションキーの発行に対応しています。 -
単一プロセスによるシンプルな本番運用
APIサーバー、Web UI、インストーラー、各種ダウンロードファイルの配信を単一の本番プロセスで提供します。 -
多様な計装とエージェント環境
OpenTelemetry Collectorベースのホストエージェントに加え、Node.jsおよびPython向けの計装ライブラリが用意されています。
使い方
DataCatを導入する最も手軽な方法は、Docker Composeを利用する手順です。
前提条件
- Git
- Docker Engine(Composeプラグインを含む)
- OpenSSL
クイックスタート手順
リポジトリをクローンし、環境変数ファイルを作成して起動します。
git clone https://github.com/replit/datacat
cd datacat
cp .env.example .env
sed -i "s/^POSTGRES_PASSWORD=.*/POSTGRES_PASSWORD=$(openssl rand -hex 24)/" .env
sed -i "s/^SESSION_SECRET=.*/SESSION_SECRET=$(openssl rand -hex 32)/" .env
chmod 600 .env
mkdir -p downloads
docker compose up -d --build
起動後、ブラウザで http://localhost:3000 にアクセスします。管理アカウントと組織を作成し、Organization Settings からAPIキーを発行します。
なお、初期セットアップ時にはセットアップトークンが求められます。このトークンはサーバーログに出力されるため、以下のコマンド等で確認します(環境変数 DATACAT_SETUP_TOKEN であらかじめ指定していない場合)。
docker compose logs datacat | grep "setup token"
リモート環境からエージェントを導入したり、他のメンバーを招待したりする場合は、事前に .env の PUBLIC_URL を外部から到達可能なHTTPSオリジンに設定する必要があります。
また、エージェントバイナリやSDKパッケージはリリースアセットとして個別に提供されています。これらをDataCatインスタンスから直接配信する場合は、SHA256SUMS を含めてホスト上の downloads/ ディレクトリ内に配置します。
データの送信方法
DataCatは、OTLP/HTTPおよびDatadogのインテークAPIを受け付けます。
- OpenTelemetry Collector / SDKs (OTLP/HTTP):
/v1/traces、/v1/metrics、/v1/logs(または/otlp/v1/*)へ送信します。 - Datadog Agent: Datadog Agent 7.56.2 や 7.85.4(新しい文字列テーブルトレース形式を含む)などのメトリクス、ログ、チェック実行、トレース送信がテストされています。DataCatが解釈できないトレース形式を受信した場合は、サイレントに受領(202)するのではなく、HTTP 422ステータスを返します。
データ受信状況は、GET /api/v1/intake/stats エンドポイントで確認でき、サーバー起動以降にパスごとに蓄積されたデータ件数とドロップされた件数が把握できます。
技術的なポイント
DataCatの実装や構成には、いくつかの設計上の特徴が見られます。
モノレポ構造と技術スタック
DataCatの本体コードは主にTypeScriptで実装されており、pnpmワークスペースによるモノレポ構成(@workspace/api-server や @workspace/web)をとっています。ホストエージェントのビルドにはGo言語(Go 1.26.11+)が用いられています。
ソースからビルドする場合の要件は以下の通りです。
- Node.js 22.15以上
- pnpm 10.11.0
- PostgreSQL 14以上
単一プロセス構成と自動マイグレーション
フロントエンドとバックエンドが別々のサーバーとして常駐するのではなく、単一のプロセスがAPIとWeb UI配信の両方を担当します。また、サーバー起動時に自動でデータベーススキーマのマイグレーションが実行されるため、手動でスキーマを反映させる作業(スキーマプッシュ等)が不要です。
ストレージの選択肢
デフォルトのデータ保存先はPostgreSQLですが、ドキュメント(docs/SELF_HOSTING.md)の案内に沿ってClickHouseをテレメトリデータの保存先として組み合わせることも可能です。大容量のログやトレースを取り扱う用途にも配慮されています。
テストと検証体制
リポジトリ内には包括的なテストスイートが含まれています。サーバーの単体テスト(Vitest)に加え、エンドツーエンド(E2E)テストスクリプト(scripts/e2e.sh)や、スループット・クエリレイテンシ・検索反映時間を計測するベンチマークスイート(bench/kit)が用意されており、CI上で両方のストレージ構成(PostgreSQL / ClickHouse)に対して自動テストが実行されています。
注意点
- ライセンスと商標: DataCat本体のライセンスは Apache License 2.0 です。READMEに記載されている通り、本プロジェクトはDatadog, Inc.とは無関係の独立したプロジェクトであり、Datadogの名称はプロトコル互換性を説明する目的でのみ使用されています。
- Node.jsのバージョン要件: ソースから実行する場合、Node.js 22.15以上が必要です。Node.js 20などの古いリリースは現在のSDKでサポートされていません。
- Datadog Agentのバージョン対応: Datadog Agent 7.56.2および7.85.4ではテストされていますが、7.57〜7.84の各バージョンが個別に検証されているわけではありません。未対応フォーマットのペイロードを受信した場合はエラー(422)が返る仕様です。
まとめ
DataCatは、メトリクス・ログ・分散トレースを自前インフラで一元管理できるオープンソースのオブザーバビリティ基盤です。OpenTelemetryおよびDatadog Agentとの通信互換性を備えているため、既存の監視資産を活用しながらセルフホスト環境へ移行したいチームにとって実用的な選択肢となります。





