Hermes Agent の自己進化(Hermes Agent Self-Evolution)

AI/ML

概要

Hermes Agent Self-Evolution は、Hermes Agent を対象に「自己進化(self-improvement)」させるためのフレームワークです。README によれば DSPy と GEPA(Genetic-Pareto Prompt Evolution)を組み合わせ、スキル定義やツール説明文、システムプロンプト、さらにはコード自体をテキスト変異によって生成・改良し、評価結果に基づいて世代的に選別・更新します。特徴として GPU によるトレーニングは不要で、すべて LLM の API 呼び出しやスクリプト実行で完結する点が強調されています。小規模な実験からプロダクションまで、プロンプトやツール記述の自動探索に使えることを目指す研究寄りのツールキットです。

GitHub

リポジトリの統計情報

  • スター数: 46
  • フォーク数: 4
  • ウォッチャー数: 46
  • コミット数: 5
  • ファイル数: 9
  • メインの言語: Python

主な特徴

  • DSPy と GEPA による進化的探索でプロンプトやスキル定義を自動最適化
  • GPU 不要、LLM API 呼び出しで変異・評価・選択を実行
  • 複数目的(性能・堅牢性など)を扱うパレート最適化による選択
  • スキル、ツール説明、システムプロンプト、コードの改良まで対象

技術的なポイント

README とリポジトリ構成から読み取れる本プロジェクトの技術的要点を整理します。本プロジェクトは「テキストを主体とした表現(プロンプト・ドキュメント・コード)」に対して遺伝的アルゴリズム的な変異と選択を行い、評価結果を基に世代交代を行うワークフローを採用しています。具体的には次の要素が重要です。

  • GEPA(Genetic-Pareto Prompt Evolution): 単一目的ではなく複数の評価指標を同時に最適化するために、パレート最適解(Pareto front)を用いる。これにより、例えば「回答の正確さ」と「冗長さ」や「計算コスト」といったトレードオフを明示的に扱える。
  • DSPy の利用: DSPy は進化的探索や分散探索のためのユーティリティを提供すると想定され、変異(mutation)、交叉(crossover)、選択(selection)といったオペレータの管理や実験のログ記録、ハイパーパラメータ探索を支援する。これにより実験の再現性とスケーラビリティが確保される。
  • API ベースの評価ループ: 「No GPU training required」と明記されている通り、モデル学習ではなく LLM の API 呼び出しで候補プロンプトやコードを実行・評価する。これにより初期投資が小さく、多様なモデルを評価に使える一方で、API コストや評価のノイズ管理が運用上の課題となる。
  • テキスト変異とコード改変: 変異は単純な語句の差し替えから、テンプレート的な書き換え、より複雑なコードパッチの生成まで含む設計が考えられる。生成されたコードやプロンプトは自動テストやベンチマークデータセットで評価され、信頼性の担保を図る。
  • 評価指標の設計とメタ評価: 評価は単なる正解率だけでなく、実世界的なユースケースに基づくメトリクス(応答の有用性、プライバシー・安全性基準、実行コストなど)を複合的に評価することで、パレート最適化の恩恵を最大化している。
  • ロギング・追跡・再現性: PLAN.md などのドキュメントや datasets ディレクトリ、evolution ディレクトリは実験設定やデータ、世代の結果を保存するための構造を示唆しており、研究用途での追跡性を意識した設計になっている。

実践面では、外部APIの利用に伴うレイテンシとコスト、評価ノイズの影響、生成されるコードの安全性(意図しない動作や脆弱性)の検出が鍵となります。拡張としては CI による自動評価、ヒューマン・イン・ザ・ループによる評価フィードバック、モデルアンサンブルでの評価安定化などが有効です。OSS としてはさらにドキュメントやサンプルワークフロー、ベンチマークが追加されると採用しやすくなるでしょう。

プロジェクトの構成

主要なファイルとディレクトリ:

  • .gitignore: file
  • PLAN.md: file
  • README.md: file
  • datasets: dir
  • evolution: dir

…他 4 ファイル

まとめ

Hermes Agent 自己進化は、プロンプトやスキルを自動で最適化するための実験的な進化フレームワークで、API ベースで手軽に試せる点が魅力です。

リポジトリ情報:

READMEの抜粋:

🧬 Hermes Agent Self-Evolution

Evolutionary self-improvement for Hermes Agent.

Hermes Agent Self-Evolution uses DSPy + GEPA (Genetic-Pareto Prompt Evolution) to automatically evolve and optimize Hermes Agent’s skills, tool descriptions, system prompts, and code — producing measurably better versions through reflective evolutionary search.

No GPU training required. Everything operates via API calls — mutating text, evaluating results, a…