Mobile-GS:モバイル向けリアルタイムガウシアン・スプラッティング

AI/ML

概要

Mobile-GSは、ガウシアンスプラッティング(Gaussian Splatting)をモバイル端末でリアルタイムに動作させるための研究実装です。ガウシアンスプラッティングは、シーンを多数の小さな3Dガウス分布(位置、スケール、回転、色などの属性を持つプリミティブ)で表現し、それらをスクリーンスペースにスプラット(拡散)して合成することで高品質な視覚再構成を行う手法です。本リポジトリはICLR 2026の論文「Mobile-GS: Real-time Gaussian Splatting for Mobile Devices」に基づき、モバイル環境の制約(計算、メモリ、バッテリ)に対応した実装と最適化を提供します。Pythonベースのコードとレンダラー関連のモジュール群により、研究再現・評価・プロトタイピングが可能です。

GitHub

リポジトリの統計情報

  • スター数: 20
  • フォーク数: 2
  • ウォッチャー数: 20
  • コミット数: 10
  • ファイル数: 14
  • メインの言語: Python

主な特徴

  • モバイル向けに最適化されたガウシアンスプラッティング実装(軽量化・高速化)
  • レンダリングと表現の分離により、学習済み表現のデプロイを簡素化
  • 圧縮・プルーニング・Lod的な工夫でメモリ使用量と計算負荷を削減
  • Pythonベースで研究用途に適した再現性あるコードベース

技術的なポイント

Mobile-GSの技術的な中核は、「多数のローカルガウス(3D Gaussian primitives)を用いてシーンを表現し、スクリーンスペースで高速にスプラット(splat)する」ことにあります。ガウスは位置、共分散(スケール・回転)、カラーとアルファ情報を持ち、視点ごとに投影・ランク付けしてブレンディングされることでピクセル値を決定します。モバイル適用のため、主に以下の工夫が導入されています。

  • データ圧縮と表現の簡素化: ガウスパラメータは量子化や共有フラグメント化でビット深度を落とし、冗長なプリミティブはクラスタリングやプルーニングで除去します。これによりメモリフットプリントが低下し、モバイルGPUのテクスチャ帯域に収めやすくなります。
  • レンダリングパスの最適化: スプラッティング自体はシェーダ(GPU)で実行するのが有利な処理ですが、モバイルGPUの制約を踏まえ、バッチ処理やスクリーン空間のタイル化、早期深度テスト類似の早期除外を導入して無駄なフラグメント処理を減らします。また、ガウスの投影範囲を保険的に狭めて適用領域を限定し、レイトレーシング的なオーバーヘッドを避けます。
  • レベル・オブ・ディテール(Lod)と視点依存削減: 遠方や視野外のガウスは粗い表現に置き換えたり、出力解像度に合わせて動的にダウンサンプリングすることで処理量を削減します。これにより、フレームレートと視覚品質のバランスを端末ごとに調整可能です。
  • 学習とデプロイの分離: 学習段階では高精度かつ重めの最適化を行い、得られたガウス表現を軽量化してモバイルに転送するワークフローを提示します。これによりオンデバイスでの実行は推論/レンダリングに特化し、トレーニングコストを端末から切り離せます。
  • 実装面の配慮: リポジトリはPythonを中心に構成され、レンダラーやユーティリティはモジュール化されています(gaussian_renderer等)。データ入出力、設定管理(arguments)、およびアセット管理が分離され、研究者やエンジニアが実験設定や最適化の比較を行いやすくなっています。

これらの施策により、Mobile-GSはモバイル端末上で実用的なフレームレートを目指しつつ、ガウシアンスプラッティング由来の高品質な視覚再現を維持することを目標としています。研究的には、プリミティブ圧縮の影響、LOD戦略と視覚品質のトレードオフ、モバイルGPUアーキテクチャ依存のボトルネック特定が主な評価対象になるでしょう。実装を通じて、これらの改善点を検証し、さらなる低レイテンシ化や省電力化への道筋を示すものになっています。

プロジェクトの構成

主要なファイルとディレクトリ:

  • LICENSE: file
  • README.md: file
  • arguments: dir
  • asset: dir
  • gaussian_renderer: dir

…他 9 ファイル

まとめ

モバイル環境で高品質なガウシアンレンダリングを実現するための実用指向な実装で、研究再現と応用検討に有用。

リポジトリ情報:

READMEの抜粋:

Mobile-GS: Real-time Gaussian Splatting for Mobile Devices

If you like our project, please give us a star ⭐ on GitHub for latest update.

project arXiv [![Licen…