概要

ComfyPilotは、ComfyUIでの画像生成ワークフロー構築を自然言語で行えるようにするAIアシスタントです。ユーザーが「高解像度にして」「ノイズを減らす処理を追加して」といった会話的な指示を与えると、バックエンドで指定したLLM（Claude、Ollama、Geminiなど）に問い合わせ、適切なノードや接続を生成・編集してComfyUIのワークフローとして反映します。Pythonで書かれたモジュール化設計により、異なるエージェントの追加やワークフロー処理の拡張が容易で、プロトタイプ作成や反復的なワークフロー調整を効率化します。

リポジトリの統計情報

スター数: 2
フォーク数: 0
ウォッチャー数: 2
コミット数: 15
ファイル数: 13
メインの言語: Python

主な特徴

自然言語でComfyUIワークフローを作成・編集可能
Claude、Ollama、Geminiなど複数のLLMと連携するエージェント設計
モジュール化されたエージェントディレクトリで拡張しやすい構成
GPL-3.0ライセンス・Python 3.10+対応のアルファ段階プロジェクト

技術的なポイント

ComfyPilotは「自然言語 → ワークフロー（ノードグラフ）」という変換パイプラインを中核に据えています。入力された会話をLLMに送信し、LLMから返された構成指示をパースしてComfyUIのノード定義（ノード種別、パラメータ、接続関係）へマッピングする処理が主要な役割です。実装はPythonで、agentsディレクトリに各種エージェントのインタフェースやプロンプトテンプレートを分離することで、バックエンドのモデル差分（APIやレスポンス形式）を吸収できる設計になっています。応答の検証・バリデーションや既存ワークフローとのマージ処理を行うことで、意図しない破壊的変更を抑える仕組みを想定しています。さらに、ComfyUIが扱うノードのシリアライズ／デシリアライズ（JSONや内部表現）を介して読み書きを行い、GUI側へ即時反映できるようなパスを提供します。エラー処理や会話の文脈保持により、対話的な微調整（パラメータ変更、ノード追加・削除）を連続して行えるのも特徴です。アルファ段階であるため安全性・堅牢性や対応ノードの網羅は今後の課題ですが、拡張ポイント（新エージェント追加、プロンプトチューニング、ノードテンプレートの追加）は明確に分離されています。

プロジェクトの構成

主要なファイルとディレクトリ：

.gitignore: file
LICENSE: file
README.md: file
init.py: file
agents: dir

…他 8 ファイル

まとめ

自然言語でComfyUIワークフローを操作できる有望なプロトタイプ。

リポジトリ情報：

名前: comfy-pilot
説明: AI assistant for ComfyUI - create and modify workflows through natural language
スター数: 2
言語: Python
URL: https://github.com/AdamPerlinski/comfy-pilot
オーナー: AdamPerlinski
アバター: https://avatars.githubusercontent.com/u/19688193?v=4

READMEの抜粋：

🚀 comfy-pilot

AI assistant for ComfyUI — Create and modify workflows through natural language conversation.

Talk to Claude, Ollama, Gemini, or other AI agents directly in ComfyUI. Describe what you want, get a working workflow.

ComfyPilot — ComfyUI向け自然言語ワークフローアシスタント