NVIDIA/SkillEvaluator — AIエージェント向けスキルの品質と効果を3段階で検証するフレームワーク
NVIDIA/SkillEvaluator
★ 1,688 ・ Python ・ Apache-2.0
概要
AIエージェントが自律的にタスクをこなすための拡張機能として、「エージェントスキル(Agent Skills)」の策定や導入が進んでいます。エージェントスキルは指示文やスクリプトなどの関連ファイルをまとめたディレクトリ群として定義されますが、それらのスキルが安全か、記述に重複がないか、実際に導入することでエージェントのタスク達成精度が向上しているかを客観的に評価することは容易ではありません。
「SkillEvaluator」は、NVIDIAが主導する「NVIDIA Verified Skills」パイプラインの一部として開発された、AIエージェントスキルのための包括的な評価フレームワークです。静的なコード解析やフォーマット検証から、LLMを活用した品質スコアリング、さらにはDockerサンドボックス上でエージェントを実際に動かしてスキルの有無によるタスク実行結果を比較するライブ評価まで、体系的な品質ゲートを提供します。エージェント向けの拡張機能を開発・保守するエンジニアや、組織内でスキルライブラリの品質基準を担保したいチームに適しています。
主な特徴
- 3つの独立した評価階層(3-Tier Architecture): 静的検証とセキュリティを扱う「Tier 1」、意味的重複を検出する「Tier 2」、サンドボックス内で実際の動作とタスク達成度を測定する「Tier 3」で構成され、必要な検証段階を選んで実行できます。
- LLM不要で即座に実行できる静的検証: Tier 1は外部APIキーやGPU、Docker環境を必要とせず、決定論的なスコアリングと静的ルールチェックによる迅速な品質フィードバックが可能です。
- 専用スキャナによるセキュリティ担保: セキュリティ検証として「SkillSpector」や「Gitleaks」を自動で取得・連携し、機密情報の漏洩リスクやスキルの潜在的な危険性を静的に検知します。
- 合成評価データセットの自動生成: Tier 3の評価に必要なテストケースについて、スキルの仕様記述(
evals/EVAL.mdなど)やプロンプトから評価用データセットを自動生成・調整するオートパイロット機能を備えています。 - 多様な導入インターフェース: 単体CLIツールとしての利用にとどまらず、GitHub ActionsやGitLab CI向けの自動セットアップコマンド、さらにはClaude CodeやCodexなどのエージェント自体から呼び出す拡張プラグインとしての組み込みにも対応しています。
使い方
SkillEvaluatorはPython 3.13環境を対象としており、パッケージマネージャのpipやuvを用いて導入・実行します。
インストールとTier 1チェック
手軽に静的チェックを実行する場合、パッケージを直接インストールして対象スキルのディレクトリを指定します。
pip install skillevaluator
# APIキー不要でTier 1のチェックを実行
skillevaluator validate ./my-skill --tiers 1
ソースコードからのクイックスタート(LLMなし)
uvを利用してリポジトリのソースから実行する場合の手順です。付属のリファレンススキル(text-analyzer)に対して品質チェックを実行します。
git clone --depth 1 https://github.com/NVIDIA/SkillEvaluator.git
cd SkillEvaluator
# LLMやDockerを使わずに静的品質チェックを実行
uv run --python 3.13 skillevaluator quality-check \
src/skillevaluator/tier3/reference_skills/text-analyzer \
-r cli -r json -o reports/first-quality
実行結果はコンソールに出力されるほか、指定したディレクトリ(例: reports/first-quality/)にJSON形式のレポートとして保存されます。
NVIDIA Buildエンドポイントを利用した評価
NVIDIA Developer Programのアカウントがある場合、NVIDIA BuildのAPIキーを利用してモデルベースのルーブリック評価を行うことができます。
export SKILL_EVAL_LLM_PROVIDER=nv_build
export NVIDIA_API_KEY='nvapi-...'
uv run --python 3.13 --extra llm skillevaluator rubric-eval \
src/skillevaluator/tier3/reference_skills/text-analyzer \
-r cli -r json -o reports/first-build
パイプライン全体の実行
プロバイダ、セキュリティスキャナ、Docker環境を整えた後、全評価層(Tier 1〜3)を結合した検証パイプラインを実行します。
# 実行環境の準備状況を確認
uv run --python 3.13 --extra all skillevaluator doctor --env-mode docker
# 全Tierを実行してスキルを検証
uv run --python 3.13 --extra all skillevaluator validate ./my-skill
CI環境への導入もサポートされており、GitHubリポジトリ内であればskillevaluator ci initを実行することで、プルリクエスト経由で自動テストのワークフローをセットアップできます。
技術的なポイント
- 階層化されたモジュール設計: 各Tierが明確に分離されており、オプションの依存関係(
extras)としてllm、tier2、tier3、allなどが定義されています。CI環境の負荷要件やAPIキーの有無に応じて、軽量な静的解析のみに絞った運用が容易です。 - Harborフレームワークによるエージェント実行基盤: Tier 3のライブエージェント評価では、オープンソースのエージェント評価基盤「Harbor」がバックエンドとして利用されています。これにより、隔離されたDockerサンドボックス環境でエージェントを実行し、安全にスキルの効果測定を行う仕組みが整えられています。
- 意味的類似度・重複の検出アルゴリズム: Tier 2では埋め込み(Embedding)モデルやチャットモデルを組み合わせ、スキルの内部に重複したガイダンスが存在しないか、あるいは既存のスキルカタログと競合・重複していないかを意味レベルで解析します。
- Agent Skills仕様への準拠: 独自フォーマットではなく、業界で標準化が進められている「Agent Skills specification(agentskills.io)」に準拠したスキル構成を前提に設計されています。
注意点
- 開発ステータス: READMEにおいてサポートレベルは「Experimental(実験的)」と明記されています。NVIDIAによるエンタープライズサポートやSLA(サービス水準合意)はなく、GitHub Issuesを通じたベストエフォートのコミュニティサポートとなります。
- 利用環境とコスト: フルパイプライン(特にTier 3)を実行する場合、Dockerサンドボックス環境に加えて各種LLMプロバイダへのアクセスが必要です。モデルの利用頻度やマネージドサンドボックスの稼働状況に応じて、外部APIの利用料金が発生する可能性があります。
- 外部ツールの自動ダウンロード: Tier 1の静的セキュリティ検証を実行する際、SkillSpectorやGitleaksなどのサードパーティ製オープンソースソフトウェアがダウンロード・実行されます。利用前に各ツールのライセンス条項を確認することが推奨されています。
- ライセンス: 本フレームワーク自体のライセンスは「Apache-2.0」です。
まとめ
SkillEvaluatorは、AIエージェント用スキルの安全性の確認からタスク実行時の有効性検証までを一気通貫でカバーする評価フレームワークです。LLM不要の静的検証からサンドボックス上のライブ比較まで段階的に導入できるため、エージェント向け機能の品質管理やCI自動化を検討している開発者にとって有用な選択肢となります。





