ComfyUI 用 SAM3 統合プラグイン (ComfyUI-TBG-SAM3)

AI/ML
ComfyUI 用 SAM3 統合プラグイン (ComfyUI-TBG-SAM3)

ComfyUI 用 SAM3 統合プラグイン (ComfyUI-TBG-SAM3)

ComfyUI-TBG-SAM3 は、Meta の Segment Anything Model 3（SAM3）を ComfyUI に組み込むプラグイン拡張です。テキストやポイントを用いたセグメンテーション、網羅的なマスク生成、セグメント単位あるいは画像全体の深度マップ生成をサポートし、Impact Pack SEGS 等の高度なセグメンテーションパックと互換性があります。Python 3.13+、ComfyUI 0.3.60+ を想定し、実運用を意識したノード群を提供します。（約300字）

https://github.com/Ltamann/ComfyUI-TBG-SAM3

概要

ComfyUI-TBG-SAM3 は、ComfyUI のワークフロー内で Meta の Segment Anything Model 3（SAM3）を扱えるようにする拡張ノード群を提供します。テキストプロンプトやポイント指示によるセグメンテーション、画像やビデオフレームに対する網羅的なマスク生成、各セグメントごとの深度マップ生成や画像全体の深度推定をサポート。出力は Impact Pack SEGS のような既存の高度なセグメンテーションパックと互換性を持つ形式で出力され、インペインティングや合成パイプラインへスムーズに組み込めます。設定は Python 3.13 以上、ComfyUI 0.3.60 以上を前提としており、運用に配慮した実装が意図されています。（約300字）

GitHub

リポジトリの統計情報

  • スター数: 14
  • フォーク数: 1
  • ウォッチャー数: 14
  • コミット数: 3
  • ファイル数: 7
  • メインの言語: Python

主な特徴

  • Meta の SAM3 を ComfyUI ノードとして利用可能にするプラグイン。
  • テキストプロンプト、ポイントベース、既存マスクからのセグメンテーションをサポート。
  • 網羅的（exhaustive）なマスク生成と、セグメント単位／グローバルの深度マップ出力。
  • Impact Pack SEGS 等既存のセグメンテーションフォーマットと互換性を持つ出力設計。

技術的なポイント

本拡張は ComfyUI のノードアーキテクチャに沿って SAM3 をラップし、ノードレベルで使いやすい入出力を提供することで、パイプラインへの統合を容易にしています。主な技術的注目点は以下の通りです。

  • SAM3 統合:
    • Meta の Segment Anything Model 3 を利用し、テキスト（自然言語）やポイント（座標）を基にしたセグメンテーションを行えるノードを提供します。テキスト入力から対象を抽出する際は、モデルのテキスト埋め込みと画像特徴の整合を取る処理をノード内で扱います。
  • 入出力互換性:
    • 出力マスクは Impact Pack SEGS 等の既存フォーマットに合わせて構造化されるため、後段のインペイント／合成処理や他のセグメンテーションパックとシームレスに連携できます。メタデータ（セグメントID、スコア、領域ボックスなど）も保持する想定です。
  • 深度マップ生成:
    • セグメントごとの深度マップ、あるいは画像全体の深度推定をサポート。深度出力は通常の浮動小数点マップとして提供され、ノーマライズや可視化を行うユーティリティと組み合わせることで、層構造に基づいた合成が可能です。
  • パフォーマンスと運用性:
    • Python 3.13 と ComfyUI 0.3.60+ をターゲットにしており、install.py により依存関係の自動導入やモデルファイルの自動処理を行う設計が想定されます。GPU メモリ制約やバッチ処理、フレーム単位の動画処理などを踏まえた実装（メモリ節約モードや精度指定）のサポートが期待されます。
  • 拡張性:
    • nodes.py にノード定義、init.py での登録、install.py によるセットアップという典型的な構成のため、必要に応じて新たな入出力や前後処理を追加しやすい構造です。また既存の ComfyUI ノードと組み合わせることで、指定領域の修正、マスク条件付き生成、マルチマスク評価などの高度なワークフローを構築できます。

実運用向けに設計されている点から、モデルのロード・キャッシュ戦略、精度と速度のトレードオフ（fp16 / bf16 の選択、量子化など）、および多数のマスク生成での重複／優先順位処理など、実際のワークフローでよく出る問題にも配慮した実装が想像されます。一方で、リポジトリ自体はコミット数が少なく、初期段階のため利用前に README と互換性（ComfyUI バージョン、Python バージョン、モデル配布元）を確認することが推奨されます。（約700字）

プロジェクトの構成

主要なファイルとディレクトリ：

  • .gitattributes: file
  • README.md: file
  • init.py: file
  • install.py: file
  • nodes.py: file

…他 2 ファイル

まとめ

実運用を意識した SAM3 ノード群で ComfyUI に高度なセグメンテーション能力を追加する有望な拡張です。（約50字）

リポジトリ情報：

  • 名前: ComfyUI-TBG-SAM3
  • 説明: ComfyUI-TBG-SAM3 A plug-and-play ComfyUI extension providing production-ready nodes for Meta’s SAM3 (Segment Anything Model 3) for text- or point-based segmentation, exhaustive mask generation, and per-segment or global depth mapping. All outputs are compatible with advanced segmentation packs such as Impact Pack SEGS. Designed and tested for full
  • スター数: 14
  • 言語: Python
  • URL: https://github.com/Ltamann/ComfyUI-TBG-SAM3
  • オーナー: Ltamann
  • アバター: https://avatars.githubusercontent.com/u/2974923?v=4