ComfyUI用 Spectral VAE ディテイラー

AI/ML

概要

ComfyUI-SpectralVAEDetailer は、ComfyUI のノードとして動作する拡張機能で、VAE(Variational Autoencoder)によるデコード直前の潜在表現を操作して最終出力画像のクオリティを改善します。主に「不自然なハイライトやシャドウの抑制」「VAE に適した帯域ノイズ(マイクログレイン)的テクスチャの付与」「過渡的なディテールの強調」を目的としており、既存のワークフローへ容易に組み込めます。パラメータで周波数帯域や強度を調整でき、既存の VAE モデルやノイズスケジュールとの相性を考慮した設計です。

GitHub

リポジトリの統計情報

  • スター数: 3
  • フォーク数: 1
  • ウォッチャー数: 3
  • コミット数: 8
  • ファイル数: 6
  • メインの言語: Python

主な特徴

  • VAE デコード前に潜在空間を調整して出力品質を向上。
  • 不自然なハイライト/シャドウを抑えるトーン調整機能。
  • 帯域通過(band-pass)ノイズで写真的な微細テクスチャを注入。
  • ComfyUI のノードとしてシンプルに統合可能、ワークフロー例を同梱。

技術的なポイント

このノードは「潜在表現(latent image)を直接操作する」アプローチを採ります。VAE のデコードは学習時の分布やノイズ特性に依存するため、デコード前の潜在空間の微調整で出力の性質を変えることが可能です。具体的には低周波(大域トーン)と高周波(微細テクスチャ)を分離し、不要な強発光や深い影の極端さを緩和するシグナル処理を行います。加えて帯域通過フィルタを用いた「VAE フレンドリーなノイズ」を注入することで、単純なディテール強調では失われがちな自然感を維持しつつ細部の再現を助けます。実装は Python ベースで、ComfyUI のノード API に準拠。パラメータとしてフィルタの中心周波数、Q 値(帯域幅)、ノイズ強度、スケールパラメータ等を持ち、ワークフロー内でリアルタイムに調整可能です。処理は潜在テンソル上で行うため計算コストは比較的小さく、GPU 上でのテンソル演算に依存します。互換性面では一般的な VAE 実装に対して汎用的に動作しますが、特定のモデルやスケールではパラメータチューニングが必要です。付属の example_workflows にサンプルがあり、導入時の挙動確認に役立ちます。

プロジェクトの構成

主要なファイルとディレクトリ:

  • .gitattributes: file
  • .github: dir
  • README.md: file
  • init.py: file
  • example_workflows: dir

その他 1 ファイル

(補足)

  • README.md: 機能概要、スクリーンショット、導入手順と主要パラメータの説明を含む。
  • example_workflows: ComfyUI への組み込み例やサンプルフローを収録しており、動作確認が容易。

まとめ

VAE デコード前に潜在表現を制御して自然なディテールを付与する実用的な ComfyUI ノードです。

リポジトリ情報:

READMEの抜粋: ComfyUI-SpectralVAEDetailer は、VAE デコード前に潜在画像を調整して画像品質を向上させるノードです。デフォルト設定では不自然なハイライトやシャドウを抑え、帯域通過型のマイクログレインを注入して写真的テクスチャを改善します。