comfyui-lsnet — 画風分類とクラスタリングのComfyUI向けツール
概要
comfyui-lsnetは、LSNet(画風認識ネットワーク)を活用して画像の「画風分類」と「画風クラスタリング」を行う小型ツールセットです。主にComfyUIなどのワークフローに組み込んで、単体画像のスタイル推定や大量画像のスタイル別グルーピングを自動化します。モデル重み(best_checkpoint.pth)とクラスマッピング(class_mapping.csv)をHugging Faceから取得して運用する想定で、Pythonベースの推論スクリプトやモデル配置ディレクトリを含むシンプルな構成になっています。視覚的なアセット整理や画風分析を迅速化する用途に最適です。
リポジトリの統計情報
- スター数: 21
- フォーク数: 1
- ウォッチャー数: 21
- コミット数: 25
- ファイル数: 6
- メインの言語: Python
主な特徴
- 画風分類:単一画像からスタイルラベルを推定(アニメ/写実/水彩など)
- 画風クラスタリング:複数画像を埋め込み空間でグルーピング、類似スタイル群を抽出
- ComfyUI対応:ワークフローに組み込みやすいPythonスクリプト構成
- 外部モデル依存:重みとカテゴリマップをHugging Faceから取得して利用
技術的なポイント
comfyui-lsnetはLSNetを推論エンジンとして用いる点が中心的な技術特徴です。LSNet自体は画像からスタイル特徴を抽出して分類・埋め込みを生成するためのネットワークで、通常は畳み込みベース(もしくは視覚トランスフォーマーベース)の特徴抽出器と、分類ヘッド/埋め込みヘッドを備えています。本リポジトリでは、学習済み重み(best_checkpoint.pth)を外部から読み込み、inference_artist.pyなどのスクリプトでPyTorch推論を行う設計になっています。
画風クラスタリングは、まず各画像をLSNetで低次元の埋め込みベクトルに変換し、その上でk-meansや階層型クラスタリング、近傍探索(k-NN)などの古典的クラスタリング手法を適用するフローが想定されます。クラスタリング結果は、作品群の自動タグ付け、データセットの整備、コンテンツベース検索への応用が可能です。
ComfyUIとの統合面では、ノードベースの生成パイプラインに組み込めるようにスクリプトが設計されているため、生成画像の即時分析やバッチ生成後の自動整理が行えます。また、class_mapping.csvでクラス名とラベルIDを切り替えられるため、多言語ラベルやプロジェクト固有のカテゴリを容易に取り込めます。モデルの拡張は、追加データでの再学習や埋め込み距離の微調整で対応でき、KPI(分类精度やクラスタの純度)を監視する仕組みを別途組み合わせると実運用が安定します。依存としてはPyTorch系ライブラリが想定され、推論はGPU環境での高速化が推奨されます。(約700字)
プロジェクトの構成
主要なファイルとディレクトリ:
- LICENSE: file
- README.md: file
- init.py: file
- inference_artist.py: file
- model: dir
…他 1 ファイル
(inference_artist.py は推論とラベリング処理のエントリを含む想定、modelディレクトリにはモデル定義や補助ファイルが格納されています。)
使い方の概略
- Hugging Faceから best_checkpoint.pth と class_mapping.csv をダウンロードして model ディレクトリへ配置する。
- Python環境(PyTorchなど)を整備し、inference_artist.py を実行して単体画像の分類や複数画像のクラスタリングを行う。
- 必要に応じて出力のラベル名や閾値、クラスタ数を調整して運用に合わせる。
拡張と運用のポイント
- 精度改善:教師データの拡張やドメイン固有のファインチューニングで分類精度を引き上げられる。
- 可視化:TSNE/UMAPで埋め込み空間を可視化するとクラスタの分布や誤分類の傾向が把握しやすい。
- バッチ処理:大量の生成画像に対してはGPUバッチ推論と並列読み込みを組み合わせると処理時間を短縮可能。
- 実運用:ComfyUIのパイプラインノードとして組み込むことで、生成→解析→整理の自動化が実現できる。
まとめ
LSNetをベースにしたComfyUI向け画風分類・クラスタリングツールで、アセット整理や画風分析に実用的な一式を提供します。(約50字)
リポジトリ情報:
- 名前: comfyui-lsnet
- 説明: 阿妈特拉斯
- スター数: 21
- 言語: Python
- URL: https://github.com/spawner1145/comfyui-lsnet
- オーナー: spawner1145
- アバター: https://avatars.githubusercontent.com/u/179383288?v=4
READMEの抜粋:
comfyui-lsnet
「我这双眼睛,能将黑暗看得一清二楚」
—— 宇智波佐助
“Kaloscope”(万花筒)致敬万花筒写轮眼,象徴忍术(画风)复刻能力
核心能力
基于 LSNet 技术核心,本工具聚焦两大核心场景:
-
画风分类:精准识别单幅作品的风格属性(如动漫、写实、水彩、国风等),如同写轮眼一眼看穿事物本质,快速完成风格标签匹配;
-
画风聚类:自动对多组作品按风格特征进行归类聚合,筛选出风格相似的作品群体,实现批量风格整理与分析,提升处理效率
第一步:下载必要文件
前往 Hugging Face 仓库,下载两个核心文件:
-
best_checkpoint.pth(LSNet 模型权重文件,决定画风分类与聚类的精度) -
class_mapping.csv(风格类别映射配置文件,适配不同画风…