ScreenDiffusion — リアルタイム画面変換ツール
概要
ScreenDiffusionは、StreamDiffusionを土台にした「画面をそのままAIアートに変換する」リアルタイムツールです。画面キャプチャやウェブカメラなどの入力を連続フレームとして取り込み、SD-Turboベースの画像→画像（image-to-image）変換を行い、即座に別のスタイルへ変換して表示します。デモGIFが示すように、ゲームや3Dレンダリング、写真などあらゆる画面表示を「生きたアート」に変換できる点が特徴で、GPU上での高速推論を念頭に置いた構成になっています。
リポジトリの統計情報
- スター数: 5
- フォーク数: 1
- ウォッチャー数: 5
- コミット数: 9
- ファイル数: 6
- メインの言語: Python
主な特徴
- リアルタイムの画面キャプチャ→画像変換ワークフロー（StreamDiffusionベース）
- SD-Turboモデルを用いた低レイテンシなスタイル変換
- GPU最適化用ファイル（main_gpu_addon.py）による高速推論想定
- デモGIFを含む簡易なプロトタイプとしての実装例
技術的なポイント
ScreenDiffusionは「ライブの映像フロー」を前提に画像変換を行うため、単発の高品質合成とは異なる設計上の工夫が求められます。まず入力は画面キャプチャまたはウェブカメラなどのフレーム列で、これを前処理（リサイズ、正規化、必要ならクロップ）してモデルへ渡します。コアはStreamDiffusionを中心としたimage-to-imageパイプラインで、SD-Turboのような軽量かつ高速なStable Diffusion系モデルを使うことで推論時間を短縮しています。リアルタイム性を担保するために、推論ステップ数を抑えたり、解像度を下げた上でポスト処理でシャープネスを調整するなどのトレードオフが行われることが多いです。main_gpu_addon.pyの存在から、CUDA/GPU周りの設定やメモリ管理、半精度演算（FP16）などを用いた高速化が想定されます。また、連続フレーム処理ではフレーム間の時間制約があるため、バッチ処理の工夫や非同期キャプチャ—推論—描画パイプラインが有効です。最終的な出力は画面に重ねて表示するか保存する設計で、デモGIFは利用シーンの分かりやすい実例になっています。（約700字）
プロジェクトの構成
主要なファイルとディレクトリ：
- README.md: file
- icon2.ico: file
- logo.png: file
- main_gpu_addon.py: file
- media: dir
…他 1 ファイル
まとめ
手早く試せるリアルタイム型の画面変換プロトタイプ。表現実験に最適。
リポジトリ情報：
- 名前: ScreenDiffusion
- 説明: Real-time screen-to-image generator built around StreamDiffusion.
- スター数: 5
- 言語: Python
- URL: https://github.com/rudyaa-sd/ScreenDiffusion
- オーナー: rudyaa-sd
- アバター: https://avatars.githubusercontent.com/u/28608941?v=4
READMEの抜粋： 🌌 Screen Diffusion A real-time AI transformation tool for artists, dreamers, and creators.
ScreenDiffusion demo ScreenDiffusion demo
🕊️ What Is Screen Diffusion?
Screen Diffusion is a live image-to-image AI renderer built around StreamDiffusion that transforms your computer screen into living art — in real time. Whatever you display — a game, a 3D scene, a photo, a design , a webcam— can be instantly reimagined through SD-Turbo model to reveal new style…