CANES：心臓医用画像セグメンテーションのためのU-NetとTransformer融合モデル

概要

CANESは、心臓の医用画像セグメンテーションに特化した深層学習モデルであり、心疾患の自動診断支援を目的としています。従来のU-Net構造にTransformerの自己注意機構を統合し、画像中の重要な特徴を効果的に抽出。さらに、Mamba選択的状態空間モデリングを導入することで時間・空間的な情報のモデリング精度を向上させています。クラス特有の損失関数により、多クラスの心臓構造を高精度に分割。ACDC（Automated Cardiac Diagnosis Challenge）データセットで評価されており、医用画像解析分野における先進的な技術として注目されています。

主な特徴

U-NetとTransformerのハイブリッドアーキテクチャを採用し、局所的・大域的特徴を効果的に抽出
Mamba選択的状態空間モデルにより時空間情報を精緻に捉え、多様な心臓構造の識別を強化
クラス毎に特化した損失関数を導入し、多クラスセグメンテーションの精度向上を実現
ACDCデータセットでの評価により、医療現場での実用可能性を示す

技術的なポイント

CANESの最大の技術的特徴は、U-NetとTransformerの融合にあります。U-Netは医用画像のセグメンテーションで広く採用されており、エンコーダ・デコーダ構造により画像の複雑な特徴を捉えますが、大域的な文脈情報の捉え方に限界がありました。そこでTransformerの自己注意機構を組み込むことで、画像内の遠く離れた領域間の依存関係をモデル化可能となり、より精度の高い特徴抽出を実現しています。

さらに、CANESはMamba選択的状態空間モデルを用いて時空間的な情報処理を強化しています。心臓の動きや構造変化は時間的連続性を持つため、単一画像だけでなく連続するフレーム間の状態遷移を考慮することが重要です。Mambaモデルはこの状態空間の選択的モデリングにより、ノイズや不確実性を抑えつつ、心臓構造の動的変化を正確に捉えています。

また、多クラスセグメンテーションの際に、クラスごとに異なる特徴や重要度があることを踏まえ、クラス特有の損失関数を設計。これにより特定の心臓構造の識別精度が飛躍的に向上し、全体のセグメンテーション品質が高まっています。

実装面ではC++言語を採用しており、効率的な計算処理と医療現場での実運用を視野に入れた設計がなされています。GitHubリポジトリではコードの他に、ACDCデータセットでの評価結果や使用方法も公開されており、研究開発や臨床応用に活用可能です。

まとめ

U-NetとTransformer、Mambaモデルの融合で心臓画像セグメンテーション精度を大幅に向上。