DisasterM3: 災害被害評価のためのリモートセンシング視覚・言語データセット

AI/ML: 人工知能、機械学習関連
DisasterM3: 災害被害評価のためのリモートセンシング視覚・言語データセット

DisasterM3: 災害被害評価のためのリモートセンシング視覚・言語データセット

DisasterM3は、リモートセンシング画像と自然言語を結びつけた視覚–言語（Vision–Language）データセットで、災害発生時の被害評価と緊急対応を支援することを目的としています。NeurIPS 2025で発表予定の本データセットは、上空からの航測・衛星画像に対して被災箇所の記述や被害度判定といった多様なテキスト注釈を付与し、画像キャプショニング、視覚質問応答、被害検出・分類などの研究ベンチマークを提供します。研究者はリモートセンシング特有の俯瞰視点やスケール変動、時系列性を考慮したモデル開発に活用できます。（約300字）

https://github.com/Junjue-Wang/DisasterM3

概要

DisasterM3は、リモートセンシング（衛星・航空）画像と対応する自然言語注釈を組み合わせたVision–Languageデータセットで、災害被害評価と緊急対応のための研究を促進します。NeurIPS 2025で提案された本データセットは、被災箇所の視覚的特徴を俯瞰画像で捉えつつ、被害の種類や範囲、影響を文章で表現する注釈を備え、画像キャプション生成、視覚質問応答（VQA）、画像とテキストのクロスモーダル検索、被害度分類など複数のタスクを想定しています。リモートセンシング特有の撮影角度、解像度差、前後比較（pre/post）やメタデータの活用が可能で、災害対応に直結する実運用への橋渡しを目指す設計になっています。

GitHub

リポジトリの統計情報

  • スター数: 16
  • フォーク数: 0
  • ウォッチャー数: 16
  • コミット数: 7
  • ファイル数: 1
  • メインの言語: 未指定

主な特徴

  • リモートセンシング画像と自然言語注釈を組み合わせた視覚–言語データセット
  • 災害被害評価に特化したタスク（被害記述、被害度分類、VQA等）を想定
  • 俯瞰視点・マルチスケール・時系列性などリモートセンシング特有の課題に対応
  • NeurIPS 2025で提案された研究資源として公開（著者多数による共同作成）

技術的なポイント

DisasterM3が提供する価値は、単なる画像コーパスではなく「リモートセンシング特有の視点」と「テキストによる意味付け」を同時に扱える点にあります。リモートセンシング画像は地上写真と比べ俯瞰角度・縮尺・解像度・センサ特性が大きく異なり、被害の視覚的表現も局所的で抽象度が高いため、視覚表現と自然言語の橋渡しには専用の設計が必要です。本データセットは以下の技術的観点で注目に値します。

  • マルチモーダルアノテーション設計：単純なキャプションだけでなく、被害の種類（倒壊、浸水、火災跡など）、被害度（軽度〜壊滅的）、被害範囲、重要インフラの被害有無などの構造化ラベルや自由記述を含むことで、多様な下流タスク（分類、検出、説明生成、VQA）に対応できます。これにより、説明可能性（explainability）を伴う災害対応モデルが訓練しやすくなります。

  • 前後比較と時系列情報：災害評価ではpre/postの比較が重要です。DisasterM3は時系列や複数時点の画像・注釈を用いる想定で、変化検出や被害推定のための学習が可能です。時系列的特徴を扱うことで、応急対応時の優先領域検出や復旧進捗の定量化に資するモデル開発が期待されます。

  • ドメインギャップと一般化課題：衛星画像は撮影条件やセンサー、気象条件で大きく変動します。データセット設計では多様なセンサー・シーン・地域・季節をカバーすることが望ましく、モデルはドメイン適応や自己監視学習、データ拡張（混合解像度、擬似ノイズ）などを用いて一般化性能を高める必要があります。

  • ベンチマークと評価指標：被害評価タスクでは精度だけでなく、早期発見のためのリコール、被害領域のIoU、説明の一貫性（semantic consistency）など複数指標を設けることが重要です。視覚–言語評価にはBLEU/ROUGEに加え、被害識別に直結するタスクベース評価（救援優先順位の推奨一致など）を導入すると実用性が高まります。

  • モデル活用の実装面：Vision-Languageモデル（例：CLIP系アプローチ、Transformerベースのマルチモーダルモデル）を初期ベースラインとし、リモートセンシング向けに事前学習やファインチューニングを行う運用が想定されます。位置情報や地理メタデータを入力に加えることで、空間的文脈を取り込んだ推論が可能になります。

  • 倫理・運用上の配慮：災害データはプライバシーやセキュリティに配慮が必要です。データの取得元・ライセンス、公開範囲、誤検出時のリスク（誤った支援配置）を明示し、実運用では人間の判断と併用することが不可欠です。

これらの技術的ポイントにより、DisasterM3は研究コミュニティにとって「リモートセンシング×自然言語」の橋渡しをする基盤となり、災害対応用AIの研究と実用化を促進すると期待されます。

プロジェクトの構成

主要なファイルとディレクトリ：

  • README.md: file

まとめ

リモートセンシングと自然言語を組み合わせ、災害対応に直結する研究を加速する有用なデータセットです。（約50字）

リポジトリ情報：

READMEの抜粋：

DisasterM3: A Remote Sensing Vision-Language Dataset for Disaster Damage Assessment and Response

Junjue Wang*, Weihao Xuan*, Heli Qi, Zhihao Liu, Kunyi Liu, Yuhan Wu, Hongruixuan Chen, Jian Song
Junshi Xia, Zhuo Zheng,