DAComp — データエージェント評価ベンチマーク
2025/12/8
DACompは「Benchmarking Data Agents across the Full Data Intelligence Lifecycle」を目的としたオープンソースのベンチマークスイートです。データ発見から前処理、変換、解析、可視化、パイプライン化までのデータインテリジェンス全工程に対して、"データエージェント"(自動化されたエージェント/モデル)の能力を体系的に評価するフレームワーク、タスクセット、評価基準、およびデータセットを提供します。再現性のある評価と拡張性を重視し、研究者や実務者がエージェント設計や比較検証を行えるように設計されています。(約300字)