F²HDR:フローアダプタと物理運動モデリングによる二段階HDR動画再構成

AI/ML

概要

F²HDRは、露出が異なる複数の低ダイナミックレンジ(LDR)フレームから時間的一貫性のある高ダイナミックレンジ(HDR)動画を再構成するための二段階フレームワークを提案します。第一段階では、従来の光学フロー推定では扱いにくい飽和領域や露出差に対応するための「Flow Adapter」によりフレーム間の対応を精密化します。第二段階では、物理的な運動モデルに基づき、カメラ運動や被写体の動きに起因する誤整合(ゴースティングやブラー)を抑制しつつ、時間方向の情報を統合して高品質なHDR出力を得ます。リポジトリは公式コード・データを準備中で、CVPR 2026開催前に公開予定です。

GitHub

リポジトリの統計情報

  • スター数: 7
  • フォーク数: 0
  • ウォッチャー数: 7
  • コミット数: 3
  • ファイル数: 3
  • メインの言語: 未指定

主な特徴

  • 二段階構成:フロー補正と物理運動に基づく時間的統合の分離設計
  • Flow Adapter:露出差・飽和を考慮したフロー適応モジュールでフレーム整列を改善
  • 物理運動モデリング:カメラ・被写体運動の物理特性を取り入れ、ゴーストやブレを低減
  • 実装・データ:論文に対応するコードとデータをCVPR 2026前に公開予定

技術的なポイント

F²HDRの技術的焦点は「整列(alignment)の信頼性向上」と「時間的融合の物理的堅牢性」にあります。HDR復元では露出の違いや飽和により対応点が失われたり誤ったフローが推定されたりしがちで、それがゴースティングや色ずれの原因になります。本手法はまず既存の光学フロー推定器が出力するフローに対して、露出条件や飽和マスクを入力として受け取るFlow Adapterを作用させ、露出差による不一致を補正します。これにより、露光が短いフレームの細部と長時間露光の明部情報を正しく対応づけられるようになります。

第二に、単純な学習ベースの融合だけでなく「物理運動モデリング」を導入する点が特徴です。具体的には、カメラのグローバル運動(パン・チルト・ズーム)とローカルな被写体運動を分解・推定し、それぞれの運動特性に基づいて時間方向のサンプルを重み付け・補間します。このアプローチは、動きの大きい被写体や被写体間の重なりがあるシーンでゴーストアーティファクトを抑えるのに有効です。モデルはフロー適応後の整列結果と露出補正情報を受け取り、時間的コンテキスト(隣接フレームの高周波・低周波成分の信頼性)を参照して最終的なHDRピクセルを推定します。

設計上は、モジュール化された二段階ワークフローにより、既存のフローネットワークやHDR復元ネットワークと組み合わせやすく、後工程での改善や部分的な再学習が行いやすい点も利点です。評価指標としては、HDR特有の視覚評価やPU-PSNR/SSIM、HDR-VDP系のメトリクスが想定されますが、リポジトリ公開時に具体的な実験設定と結果が提供される予定です。

プロジェクトの構成

主要なファイルとディレクトリ:

  • .gitignore: file
  • LICENSE: file
  • README.md: file

(現状は初期の骨組みのみで、コードやデータは準備中。公開後にモデル重み、テストスクリプト、データダウンロード手順、実行例などが追加される予定です。)

まとめ

露出差と動きに強い実用的なHDR動画再構成を目指した、拡張性の高い二段階フレームワークです。

リポジトリ情報:

READMEの抜粋:

F²HDR

Official repository for CVPR 2026 paper “F²HDR: Two-Stage HDR Video Reconstruction via Flow Adapter and Physical Motion Modeling”

Resource Status

Code and data are under preparation and will be fully released prior to the CVPR 2026 conference. …