AI Comic Builder — AI駆動のアニメ漫画ジェネレーター

AI/ML
AI Comic Builder — AI駆動のアニメ漫画ジェネレーター

AI Comic Builder — AI駆動のアニメ漫画ジェネレーター

AIを用いて脚本から完全なアニメーション動画を自動生成するパイプライン。脚本の解析による登場人物の抽出、各キャラクターの三面図生成、AIによるスマートな分鏡（ショットリスト）作成、各ショットの起終点フレーム生成、フレーム間補間による動画合成、字幕焼き込みや素材一括ダウンロードまでをカバー。OpenAIやGemini、Seedanceなど複数のモデルを切り替えて利用でき、Next.js＋TypeScriptで構築された拡張性の高いプロジェクトです。（約300字）

https://github.com/twwch/AIComicBuilder

概要

AIComicBuilderは「脚本 → アニメ動画」というワークフローを自動化するオールインワンのツールキットです。ユーザーが手動で脚本を書くか、AI支援で脚本を生成すると、システムは登場人物を抽出して詳細なビジュアル記述（プロンプト）を作成し、各キャラクターの三面図（リファレンス）を生成して絵柄の一貫性を担保します。次にAIが脚本を分解してプロの分鏡（カメラワーク、照明、構図指示を含むショットリスト）を作成し、各ショットの始点と終点となるキーフレームを生成。これらを基にフレーム補間や動画合成を行い、最終的に字幕焼き込みや素材パッケージ化まで行える点が特徴です。多言語対応と複数AIモデルのプラグイン的利用が可能で、実験的かつ実用的な制作パイプラインを提供します。（約300字）

GitHub

リポジトリの統計情報

  • スター数: 33
  • フォーク数: 8
  • ウォッチャー数: 33
  • コミット数: 4
  • ファイル数: 19
  • メインの言語: TypeScript

主な特徴

  • 脚本から登場人物抽出、三面図生成、分鏡作成、動画合成までの自動化パイプライン
  • 複数のAIプロバイダ（OpenAI、Gemini、Seedanceなど）をプロジェクト単位で設定可能
  • 各ショットの「首尾フレーム（起終点）」を生成して補間により滑らかなアニメ化を実現
  • 字幕焼き込みや素材一括ダウンロードなど制作〜配布までの機能を備える

技術的なポイント

AIComicBuilder は Next.js 16 の App Router を基盤にした TypeScript プロジェクトで、フロントエンドとサーバーサイドを密接に結びつけた構成が特徴です。設計上は「パイプライン化」と「モデル抽象化」を重視しており、components.json や環境変数（.env）を通じて使用するAIモデルやAPIキーを切り替えられるようになっています。これにより、画像生成やテキスト解析、動画補間など各工程ごとに最適なモデルを割り当てることが可能です。

キャラクター一貫性の確保には三面図（キャラの正面・側面・背面）を生成して「リファレンスプロンプト」を固定化するアプローチを採用。画像生成モデルへは詳細な視覚記述とスタイル指定、乱数シードを添えることで表情や衣装は変えても個体識別子を保つ工夫がなされています。分鏡生成は、脚本テキストを構文解析してシーンごとの目的・行動・感情を抽出し、カメラワーク（ショットタイプ、レンズ、動き）、構図、照明方向などを含むショットメタデータを生成。これによりAIに対するプロンプト設計が構造化され、出力の再現性と編集性が向上します。

動画合成パートでは「キーフレーム（首尾フレーム）」生成とフレーム補間（インターポレーション）を組み合わせます。起点と終点の高品質な静止画を生成した後、Seedance 等の動画補間エンジンや学習済みのフレーム補間モデルで中間フレームを生成し、滑らかな動きを得ます。最終的に複数クリップを合成・クロスフェードさせ、音声や字幕を焼き込むことで配信可能なMP4を出力します。

拡張性の観点では、モデルアダプタ層を用いたプラグイン化、API呼び出しのRetryやレート制御、生成結果のキャッシュ（アセットIDとシードでの再現性管理）といった実務的な配慮が見られます。TypeScript による型安全性、Next.js のサーバー機能（Edge/SSR）の活用、環境変数での秘密情報管理は実運用を考えた実装です。さらに多言語対応（日本語・英語・中国語・韓国語）や素材一括ダウンロード機能は、グローバルな制作ワークフローを見据えた実装方針を示しています。（約700字）

プロジェクトの構成

主要なファイルとディレクトリ：

  • .env.example: file
  • .gitignore: file
  • LICENSE: file
  • README.md: file
  • components.json: file

…他 14 ファイル

まとめ

脚本から完成動画までを実験的に自動化する、拡張性の高いプロトタイプツールです。（約50字）

リポジトリ情報：

READMEの抜粋：

AI Comic Builder

AI 驱动的漫剧生成器 — 从剧本到动画视频的全自动流水线。

功能特性

  • 剧本创作 — 手动编写或 AI 辅助生成剧本
  • 角色提取 — AI 自动从剧本中提取角色并生成详细视觉描述
  • 角色三视图 — 为每个角色生成参考图，确保后续帧画面一致性
  • 智能分镜 — AI 将剧本拆解为专业镜头列表（含构图、灯光、运镜指令）
  • 首尾帧生成 — 为每个镜头生成起始帧和结束帧关键画面
  • 视频生成 — 基于首尾帧插值生成动画视频片段
  • 视频合成 — 将所有片段拼接为完整动画，支持字幕烧录
  • 资源下载 — 支持最终视频下载及全部素材打包下载
  • 多语言 — 中文 / English / 日本語 / 한국어
  • 多模型 — 支持 OpenAI、Gemini、Seedance 等多家 AI 供应商，可按项目配置

技术栈

层级技术
框架Next.js 16 (App Router)
前端…