AICoverGen: RVC v2で歌カバーを作るWebUI

AI/ML
AICoverGen: RVC v2で歌カバーを作るWebUI

AICoverGen: RVC v2で歌カバーを作るWebUI

AICoverGenは、RVC v2で学習した任意のAI音声を使って、YouTube動画やローカル音声ファイルから自動的に歌カバーを生成するパイプラインとWebUIを提供するリポジトリです。開発者がチャットボットやVTuberに歌機能を組み込みたい場合や、好きなキャラクターに楽曲を歌わせたいユーザー向けのワークフロー（Colabノートブック・WebUI・Docker準備）を含み、モデル管理や音声前処理・後処理、GPU利用を前提とした推論の運用性に配慮されています。

https://github.com/GXCoder78/AICoverGen

概要

AICoverGenは、RVC v2で学習された任意のAIボイスを使って、YouTube動画やローカルの音声ファイルから歌のカバーを自動生成するパイプラインとWebUIを提供するプロジェクトです。Colabノートブック（AICoverGen_colab.ipynb）を用意しており、GPU環境での実行・モデルのロード・音声の抽出、ボイスコンバージョン（歌唱への適用）といった一連の処理を比較的容易に試せます。デモ動画やセットアップガイドが公開されており、開発者やエンターテイメント用途のプロトタイプ作成に適しています。

GitHub

リポジトリの統計情報

  • スター数: 2
  • フォーク数: 0
  • ウォッチャー数: 2
  • コミット数: 30
  • ファイル数: 14
  • メインの言語: Python

主な特徴

  • RVC v2で学習した任意の音声モデルを使って歌のカバーを生成可能
  • YouTubeからの音声抽出とローカルファイルの両対応
  • Colabノートブックでの手軽な試行とWebUI（開発中）による操作性
  • Docker化準備や大容量モデルの扱いを考慮した構成

技術的なポイント

AICoverGenのコアは「音声抽出 → 前処理 → 音声変換（RVC v2）→ 後処理（ボコーダ等）」という自動パイプラインです。入力はYouTube動画のURLかローカル音声で、まず動画から音声を抽出（youtube-dl等を想定）して標準フォーマットに整形します。歌声カバーでは原曲の伴奏や雑音の影響を受けるため、必要に応じて音源分離（ボーカル分離ツール）や無音区間のトリミング、サンプリングレート統一、ノーマライズ等の前処理を行います。変換エンジンはRVC v2（Retrieval-based Voice Conversion v2）で、話者埋め込みやピッチ情報を組み合わせて原音源の歌唱をターゲット音声の「歌声」に変換します。高品質な出力を得るためには、対応するボコーダ（例：HiFi-GAN系）でのデコーディングや短時間フーリエ変換のパラメータ調整が重要です。

実装面ではPython中心で、Colabノートブックを通じてGPU上での学習済みモデルロードや推論が容易に行えるようになっており、WebUIはユーザー操作性を高めるインターフェースとして機能します（READMEに「WebUIは継続開発中」と明記）。リポジトリにはDocker関連ファイル（.dockerignore）があり、コンテナ化して環境依存を軽減することも視野に入れた設計です。モデルファイルは大容量になりがちなので、モデル管理（ダウンロード/キャッシュ）、メモリ・VRAMの消費管理、バッチ処理やストリーミング出力の工夫が実運用では鍵になります。最後に、合成音声の利用は著作権・肖像権・利用規約に抵触する可能性があるため、利用用途に応じた注意と適切なライセンス確認が必要です。

プロジェクトの構成

主要なファイルとディレクトリ：

  • .dockerignore: file
  • .gitattributes: file
  • .gitignore: file
  • AICoverGen_colab.ipynb: file
  • LICENSE: file

…他 9 ファイル

まとめ

RVC v2を利用した歌カバー生成のプロトタイプとして実用的かつ拡張しやすいリポジトリ。

リポジトリ情報：

READMEの抜粋：

AICoverGen

An autonomous pipeline to create covers with any RVC v2 trained AI voice from YouTube videos or a local audio file. For developers who may want to add a singing functionality into their AI assistant/chatbot/vtuber, or for people who want to hear their favourite characters sing their favourite song.

Showcase: https://www.youtube.com/watch?v=2qZuE4WM7CM

Setup Guide: https://www.youtube.com/watch?v=pdlhk4vVHQk

WebUI is under constant developm…