HomeLab Log Analyzer — ローカルLLMで自動要約するDockerログ解析ツール

AI/ML
HomeLab Log Analyzer — ローカルLLMで自動要約するDockerログ解析ツール

HomeLab Log Analyzer — ローカルLLMで自動要約するDockerログ解析ツール

HomeLab-Log-Analyzerは、完全ローカルで動作する自動化されたログ解析システムです。Dockerコンテナの雑多なログを収集してノイズ（ヘルスチェックや定期的なping、スパム、重複行など）を除去し、ローカルにホストした言語モデル(LLM)で夜間に要約・構造化します。クラウドやAPI費用を使わずに運用でき、JSONなどの機械可読フォーマットで出力して監視やインシデント対応に組み込めます。

https://github.com/WhiskeyCoder/HomeLab-Log-Analyzer

概要

HomeLab-Log-Analyzerは、ローカルで完結する「ノイズゼロ」志向のログ分析パイプラインです。Docker上の全コンテナ（あるいは指定コンテナ）からログを収集し、ヘルスチェックや定期的なログ、重複行など運用上ノイズにあたるエントリをフィルタリングします。前処理したログはローカルLLMへ渡され、重要イベントの抽出、要約、インサイト生成を行い、夜間に毎日自動実行して構造化された出力（例：JSON）を生成します。クラウド依存やAPIコストを排し、プライバシーと可搬性を確保する点が特徴です。

GitHub

リポジトリの統計情報

  • スター数: 3
  • フォーク数: 1
  • ウォッチャー数: 3
  • コミット数: 18
  • ファイル数: 11
  • メインの言語: Python

主な特徴

  • 完全ローカルで動作するログ収集→前処理→LLMによる要約の自動化パイプライン
  • ヘルスチェック、定期的なping、重複行などのノイズ除去機能
  • Dockerコンテナ単位での選択収集とボリュームマウントによる簡単デプロイ
  • 毎夜のスケジュール実行と構造化されたJSON出力（可視化や通知に連携可能）

技術的なポイント

HomeLab-Log-AnalyzerはPythonベースで、Docker環境のログ取得・前処理・LLM要約を一貫して実行できるよう設計されています。ログ収集はDockerのログドライバやdocker API経由でコンテナログを取得し、まず正規表現やルールベースで「ノイズ」に該当する行（ヘルスチェック、定期ハートビート、同一メッセージの連続など）をフィルタリングします。重複抑止や閾値に基づく集約により、解析対象となる情報量を削減してLLMのコンテキストウィンドウを効率的に利用します。

前処理後のログは「チャンク化」され、モデルのトークン制約に合わせて分割しつつ、前後の文脈を維持するためのオーバーラップを持たせる設計です。プロンプト設計はローカルLLM向けに最適化されており、イベント抽出、重要度ランク付け、原因候補の提示などを意図したテンプレートが用意されています。出力は機械可読なJSON（例: “AI Docker Logs Summary.json”）として保存され、ダッシュボードや通知システム、外部スクリプトへ取り込みやすくしています。

運用面では、Dockerfileとdocker-composeの構成によりコンテナ化して手軽に導入できます。.env.exampleでモデルパスや実行スケジュール、フィルタルールの調整が可能で、GPUがある環境ではローカルLLMの高速化、メモリ制約のある環境ではモデルサイズの調整が推奨されます。また、ログの長期保存やローテーション、プライバシー保護（センシティブな情報のマスク化）を組み合わせることで、ホームラボ／オンプレミス環境でも安全に運用できます。エッジケースとしては、非常に大量のログや高頻度の短時間イベントがある場合に処理負荷が上がるため、サンプリングやイベントプレフィルタの調整が必要です。

プロジェクトの構成

主要なファイルとディレクトリ：

  • .env.example: file
  • .gitignore: file
  • AI Docker Logs Summary.json: file
  • Dockerfile: file
  • Docs: dir

…他 6 ファイル

まとめ

ローカルLLMで安全に運用できる、家庭用/小規模環境向けの実用的なログ要約ソリューション。

リポジトリ情報：

READMEの抜粋：

🧠 HomeLab Log Analyzer — Zero-Noise, AI-Powered Daily Summaries

A fully-local, fully-automated system that turns your chaotic Docker logs into clean, structured, actionable data… every night… powered by your own local LLM.

No cloud.
No API fees.
No bullshit.
Just pure self-hosted magic ✨

🚀 What This Project Does

This tool automatically:

  • Collects logs from all (or selected) Docker containers
  • Removes noise, health-checks, pings, spam, repeat lines
  • Feeds the c…