NeonClipping — 長尺動画から縦型ショート動画を自動生成するローカルツール
iamajmeena/neonclipping
★ 1,254 ・ Python ・ MIT
概要
NeonClippingは、YouTube、Twitch、Kickなどの配信アーカイブやローカルのMP4動画から、縦型(9:16)のショート動画クリップを自動生成するためのオープンソースツールです。
動画内の盛り上がっている瞬間を自動検出し、タイトルや視聴者の興味を引く導入(フック)のテキストを付与した上で、テロップ(字幕)入りのショート動画として出力します。処理はすべてローカル環境内で完結するように設計されており、アカウント作成や外部クラウドサービスへの動画アップロードを必要としません。
ゲーム配信者やポッドキャストの配信者、動画クリエイターなど、長尺コンテンツからYouTube ShortsやTikTok向けの短い切り抜き動画を効率よく制作したいユーザーに向いています。
主な特徴
-
音声起点による高速クリップ抽出(Fast mode)
動画全体をダウンロードするのではなく、まず音声ファイルのみを取得し、YouTubeの既存字幕や音響特徴量(音量の急増や叫び声の周波数帯)から見どころを検出します。選定された必要な区間のみ動画をダウンロードするため、処理時間を短縮できます。 -
ローカルLLMや画像解析を組み合わせたハイライト判定
音響分析(音量変化や2–4 kHz帯のエネルギー)に加え、テキスト上のキーワード検知、OpenCVによるオプティカルフロー(急激な動きやカット切り替わり)の検出、さらにOllamaを介したローカルLLMによる文脈や感情のスコアリングを組み合わせて見どころを評価します。 -
多彩な画面レイアウトと字幕プリセット
ゲーム配信などでよく使われる11種類のレイアウト(上下分割、顔カメラのオーバーレイ、サイド・バイ・サイド、ぼかし背景など)を用意しています。字幕スタイルも複数プリセットされており、単語単位のタイミング調整やSRT/WebVTT形式のエクスポートにも対応しています。 -
ローカルでのフィードバック学習
生成された各クリップに対して5段階評価を付与でき、評価データはローカルのJSONLファイルに蓄積されます。8回以上の評価をもとにリッジ回帰を用いてスコアリングの重み付けを自動調整し、ユーザー好みのシーンが優先されるようパーソナライズされます。 -
生成後の柔軟なクリップ編集
クリップ生成後も専用のエディタから、話者のサイズや位置、字幕のテキスト内容やフォント、表示スタイルを再調整して再出力できます。元となる文字起こしやハイライト探索は再実行されないため、軽快にデザインの修正が行えます。
使い方
前提条件
動作には以下の環境が必要です。
- Python 3.10以上
- パス(PATH)が通ったFFmpeg
- (推奨)AIによるタイトル生成や評価を行うためのOllama(
ollama pull llama3.2:3b) - (推奨)NVENCおよびfaster-whisperによる高速処理を行うためのNVIDIA製GPU
インストールと起動
Windows環境向けには、PythonやFFmpegの存在確認とセットアップを自動で行うバッチファイル(NeonClipping-Setup.bat)が配布されています。手動でリポジトリからセットアップする場合は、以下の手順を実行します。
git clone https://github.com/iamajmeena/neonclipping
cd neonclipping
# Windowsの場合
./run.ps1
# Linux / macOSの場合
./run.sh
起動後、ブラウザで http://127.0.0.1:8770 にアクセスします。動画のURLまたはファイルを指定し、「⚡ Make clips」ボタンを押すとクリッピング処理が開始されます。
なお、YouTube字幕が存在しない動画でGPUを用いた音声認識を行う場合は、仮想環境に追加のCUDA関連ライブラリを導入します。
.venv/bin/pip install nvidia-cublas-cu12 "nvidia-cudnn-cu12==9.*"
環境変数 NEONCLIPPING_CPU=1 を指定してCPU実行を強制することや、NEONCLIPPING_PORT=9000 のようにリッスンポートを変更することも可能です。
技術的なポイント
NeonClippingはPythonで実装されており、バックエンドのWebサーバーにはFastAPIが採用されています。ネットワーク通信は 127.0.0.1 にバインドされ、外部へのデータ送信を行わない安全な構成になっています。
アーキテクチャ面での工夫として、長尺動画処理におけるリソースとネットワーク帯域の消費を抑えるパイプライン設計が挙げられます。デフォルトの「Fast mode」では、動画全体ではなく約80MB前後の音声トラックのみを先行してダウンロードします。YouTubeの単語単位タイムスタンプ付き字幕が利用可能な場合はWhisperの実行すらスキップし、音声特徴量と字幕テキストだけで見どころを特定します。その後、必要な区間だけをピンポイントで取得して動画合成を行うことで、処理全体の大幅な軽量化を実現しています。
一方で「Deep mode」では、OpenCV(Farneback法)を用いたオプティカルフロー解析により、画面の揺れや爆発のような閃光、シーンチェンジを解析し、映像全体の動きを総合的に判断する設計になっています。
エンコード処理にはFFmpegが用いられ、NVIDIA製GPUが存在する場合はNVENCによるフレーム精度のハードウェアエンコードを実行し、利用できない環境ではx264によるCPUエンコードへフォールバックします。
注意点
ライセンスはMITライセンスが適用されています。
対応環境として、Windows向けにはセットアップ用のスクリプトが整備されていますが、READMEによるとMacおよびLinux向けのシェルスクリプト(install.sh)は新しく追加されたものであり、執筆時点では実機Macでのテストが完了していない旨が記載されています。
また、OllamaやローカルWhisperモデルを活用する場合、マシンのCPU/GPUスペックによって処理時間が大きく変動します。快適に動作させるためには、十分なスペックを持つGPU環境の準備が推奨されます。
まとめ
NeonClippingは、ローカルLLMや音響・映像解析技術を組み合わせ、長尺動画から縦型ショート動画を自動生成するオープンソースツールです。クラウドを介さず自前のマシン上で完結するため、プライバシーを重視する配信者や動画編集者にとって実用的な選択肢となります。





