概要

Apple ML‑SHARP と Rerun を組み合わせ、静止画や2D動画を深度マップ付きのインタラクティブな3Dシーンに変換するためのサンプル・ツールキットです。本プロジェクトは、ML‑SHARPで得た深度推定結果をRerunで可視化・探索できる形に整えるワークフローを提供します。デモ動画やサンプル素材、クイックスタートガイドが同梱され、深度の重ね合わせ、カメラナビゲーション、クリエイティブなエフェクト適用まで試せるため、研究・プロトタイプ作成・プレゼン用途に向きます（約300字）。

リポジトリの統計情報

スター数: 15
フォーク数: 0
ウォッチャー数: 15
コミット数: 6
ファイル数: 11
メインの言語: Python

主な特徴

ML‑SHARP を用いた単一画像／動画からの深度推定と処理パイプライン
Rerun によるインタラクティブな3D可視化とナビゲーションサポート
デモ動画・サンプル素材・クイックスタートを同梱し試用が容易
Pythonベースで拡張・実験がしやすい構成

技術的なポイント

本プロジェクトの核は「深度推定（ML‑SHARP）→データ整形→Rerunでの可視化」というパイプラインです。ML‑SHARP は Apple が開発した単一画像からの高品質な深度推定技術で、これを使ってフレームごとの深度マップを生成します。生成した深度データはそのままでは可視化や時間軸での連続表現に向かないため、スケール調整、ノイズ除去、穴埋め（inpainting）・スムージングなどの前処理が施されます。次に、深度と対応するRGBフレームを合わせてポイントクラウドや擬似的なビュー合成向けデータ構造に変換します。Rerun はリアルタイム可視化・デバッグに強いツールで、カメラ軌跡の再生、深度レイヤーのトグル表示、色付けや法線ベースのライティング表現などをサポートします。リポジトリはPythonスクリプト群でこれら変換とRerunへの送信処理をラップしており、ユーザーはコマンドラインや簡易GUI的な手順で処理を実行できます。実験的な要素として、複数フレーム間での深度整合性や視点移動時のアーティファクト低減手法、エフェクト（ブラー・パララックス強調など）も試験的に含まれており、研究・プロトタイプ用途に適した拡張性を持っています（約700字）。

プロジェクトの構成

主要なファイルとディレクトリ：

.gitignore: file
LICENSE: file
QUICKSTART.md: file
README.md: file
docs: dir

…他 6 ファイル

まとめ

ML‑SHARP と Rerun を組み合わせた、手軽に試せる2D→3D可視化プロトタイプ（約50字）。

リポジトリ情報：

名前: Apple-ml-sharp-rerun
説明: Convert 2D videos and photos into interactive 3D scenes using ML-SHARP and Rerun. Explore your videos in 3D space with depth maps, navigation tools, and creative effects.
スター数: 15
言語: Python
URL: https://github.com/jaskirat1616/Apple-ml-sharp-rerun
オーナー: jaskirat1616
アバター: https://avatars.githubusercontent.com/u/95251417?v=4

READMEの抜粋：

Apple ML-SHARP Rerun

Convert 2D videos and photos into interactive 3D scenes using ML-SHARP and Rerun. Explore your videos in 3D space with depth maps, navigation tools, and creative effects.

Apple ML‑SHARP + Rerun：2D映像をインタラクティブな3Dへ