概要

MAPO（Mixed Advantage Policy Optimization）は、方策勾配法におけるアドバンテージ推定の性質を混合して扱うことで、学習の分散（variance）とバイアス（bias）のトレードオフを改善することを目指す手法です。本リポジトリは論文「MAPO: MIXED ADVANTAGE POLICY OPTIMIZATION」の実験再現や検証用の最小限実装を収めており、論文ページ（arXiv）や Hugging Face ページへの参照を README に含みます。軽量なコード構成で概念実証を行いやすく、研究者や実験者がアルゴリズムを読み替え・拡張する出発点になります。（約300字）

リポジトリの統計情報

スター数: 24
フォーク数: 0
ウォッチャー数: 24
コミット数: 3
ファイル数: 3
メインの言語: Python

主な特徴

論文「MAPO（arXiv:2509.18849）」に基づく方策最適化アルゴリズムの実装
複数のアドバンテージ推定を混合して分散削減とバイアス制御を行う設計
研究再現用の最小構成（軽量コード、補助ファイル）を提供
README に論文・関連ページへのリンクを収録

技術的なポイント

MAPO の核は「アドバンテージ（Advantage）推定の混合」にあります。従来の方策勾配法では単一のアドバンテージ推定（例えばモンテカルロ評価やブートストラップを用いるもの）を用いることが多く、推定器の選択は分散とバイアスに直接影響します。MAPO は複数の推定器を組み合わせることで、それぞれの長所（低バイアスや低分散）を活かしつつ短所を相殺するアプローチを採ります。実装面では、方策ネットワークと価値推定器を用いた標準的な方策最適化パイプラインに、複合的なアドバンテージ計算モジュールを挿入する形が想定されます。推定の重み付けやスケジューリングはハイパーパラメータとして扱われ、学習初期と収束期で最適な混合比を変えることでサンプル効率を高めます。さらに、重要度サンプリングやクリッピング、正則化などの分散制御手法と組み合わせることで安定性を確保します。本リポジトリは Python 実装で、論文のコアアルゴリズムを再現するための最小限のコードと補助ファイルを含んでおり、研究者が実験条件や推定器の組合せを変更して評価できるように設計されています。（約700字）

プロジェクトの構成

主要なファイルとディレクトリ：

README.md: file
asserts: dir
code: dir

まとめ

論文実装の最小構成として検証・拡張に向いた出発点です。（約50字）

リポジトリ情報：

名前: MAPO
説明: MAPO: MIXED ADVANTAGE POLICY OPTIMIZATION
スター数: 24
言語: Python
URL: https://github.com/WenkeHuang/MAPO
オーナー: WenkeHuang
アバター: https://avatars.githubusercontent.com/u/40136517?v=4

READMEの抜粋：

MAPO: MIXED ADVANTAGE POLICY OPTIMIZATION

Wenke Huang, Quan Zhang, Yiyang Fang, Jian Liang, Xuankun Rong, Huanjin Yao, Guancheng Wan, Ke Liang, Wenwen He, Mingjun Li, Leszek Rutkowski, Mang Ye, Bo Du, Dacheng Tao

MAPO: 混合アドバンテージ方策最適化（MAPO）