Autoresearch — 自律的な実験ループスキル

ToolAI自動化エージェント

neethanwu/autoresearch

GitHub で見る

GitHub →

概要

autoresearch は、AI コーディングエージェントが自律的に実験ループを回してモデルやプログラムを改善するための「スキル」実装です。利用者はゴール（目標）、実行コマンド（実験を動かすコマンド）、評価指標（数値やログから抽出するメトリック）を与えるだけで、エージェントが仮説を生成し、コード改変を提案・実行し、実験を走らせて結果を測定し、改善があれば保持、劣化すれば巻き戻すというループを繰り返します。karpathy の同名プロジェクトに触発された設計で、自動探索と継続的改善を手軽に試せるのが特徴です。

GitHub

リポジトリの統計情報

  • スター数: 1
  • フォーク数: 0
  • ウォッチャー数: 1
  • コミット数: 4
  • ファイル数: 5
  • メインの言語: 未指定

主な特徴

  • ゴール、実行コマンド、評価指標に基づく自律的な実験ループ
  • 改善は保持、失敗は巻き戻すことで安全に探索を継続
  • エージェントに組み込める「スキル」形式（SKILL.md を含む）
  • 軽量で既存プロジェクトへの導入が容易

技術的なポイント

autonomous experiment loop の核は「仮説 → コード修正 → 実験実行 → 指標測定 → 維持/巻き戻し」の循環にあります。実装上の重要点は主に次の要素です。

  1. インタフェース設計: ユーザーは目標（最適化したい目的）・実行コマンド（テストや学習を走らせる CLI）・メトリック（ログや出力から数値を抽出する正規表現や解析ルール）を指定します。これにより、エージェントは変更提案→実行→評価という一貫したフローを回せます。

  2. 変更の提案と適用: エージェント（大抵は LLM ベース）が修正案を生成し、ワーキングコピーに適用します。安全性と追跡のために変更はコミットやパッチとして管理し、容易に巻き戻せる設計が望まれます。README が示す「keep or revert」はこのワークフローの要です。

  3. 実験の再現性と隔離: 実験は外部コマンドで走るため、環境依存性に注意が必要です。理想的には仮想環境やコンテナ（Docker）で隔離し、ランダムシードや依存関係を固定して指標のばらつきを抑えます。メトリック測定はログ解析や標準出力のパースに依存するため、安定した出力フォーマットが望まれます。

  4. 成功・失敗判定とロギング: 指標の改善が明確であれば変更を保持し、そうでなければ自動で巻き戻す。しきい値や統計的有意差の判定を導入すると誤判断が減ります。また各試行のコード差分、メトリック、実行コマンド、環境情報を記録することで後追い検証やデバッグが容易になります。

  5. 安全性と停止条件: README が述べるように「ユーザーが止めるまで回る」ことを想定しているため、無限ループやリソース枯渇を防ぐための停止条件（最大試行回数、時間制限、性能閾値）や監視が必須です。

このリポジトリは概念実証的なシンプル実装で、SKILL.md によるエージェント統合方法や references ディレクトリによる関連資料が含まれています。実運用する場合は環境の固定化、結果の統計評価、変更管理の強化（Git を利用した自動コミット/ロールバック等）、およびエージェント提案の検証ルールが重要になります。

プロジェクトの構成

主要なファイルとディレクトリ：

  • .gitignore: file
  • LICENSE: file
  • README.md: file
  • SKILL.md: file
  • references: dir

まとめ

自律的な実験ループを手早く試せる軽量なスキル実装です。

リポジトリ情報：

READMEの抜粋：

autoresearch

An autonomous experiment loop skill for AI coding agents. Inspired by karpathy/autoresearch.

Give your AI agent a goal, a command, and a metric — it runs experiments autonomously, keeps improvements, reverts failures, and never stops until you tell it to.

How It Works

hypothesize → modify code → run experiment → measure metric → keep or revert → repeat

The agent proposes changes to your code, runs your experiment command,…

関連記事

Tool

x-bookmarks — Xブックマークをエージェントアクションに変換するスキル

X（旧Twitter）のブックマークを単なる「読む予定」から実際の作業につなげるための軽量スキルです。Claude Code と OpenClaw に対応したスキル定義とシェルスクリプト群で、ブックマークを取得・要約・分類し、実行可能なエージェントアクション（タスク提案や実行コマンド）に変換します。個人の知見活用を自動化し、情報の埋もれを防ぐことを目的としています（約300字）。

ブックマークエージェント自動化
AI/ML

AutoEvolve — エージェント行動の自己進化フレームワーク

AutoEvolveは、エージェントの行動定義ファイルを自己改変（突然変異）し、人間の反応を監視して有効な変異を採用・保持し、効果のない変異を巻き戻すことで時間とともに行動を進化させる試みを具現化したPythonベースの実験的リポジトリです。Karpathyのautoresearchの進化ループを行動層に応用する発想が中核にあります。

進化学習エージェント自動化
AI/ML

Compound Product — 自律的に改善を回すプロダクトシステム

Compound Productは、製品が日次レポートを出力し、その内容をAIエージェントが解析して最もインパクトのある修正を特定、計画を立てて自律的に実装するワークフローを提供するリポジトリです。レポートの読み取りから優先順位付け、修正案の生成、実装（およびPRの作成）までを自動化することにより、運用改善を継続的かつスケーラブルに行えます。Compound Engineeringの考え方に基づく設計で、設定ファイルとエージェント定義を用いて柔軟にカスタマイズできます。

自動化エージェント製品改善
Tool

AetherSwap — Steam 低価格バランス自動化アシスタント

AetherSwap は「全自動・ゼロコード」設定で Steam の低価格アイテムを自動で購入・出品し、残高運用を支援するツールです。クロスリージョン購入・市場分析・データ復盤・可視化ダッシュボードを備え、数学モデルに基づくスマートな選品ロジックで買付から自動出品まで無人運用を目指します。バックエンドは FastAPI、実行環境は Python 3.10+ を想定し、モニタリングや戦略調整を Web コンソールから行える設計です。（約300字）

Steam自動化FastAPI
Tool

Maps Call Assistant（my-caller）

Google Mapsで店舗を検索し、条件に基づいて評価・順位付けしたうえで、実際に電話で問い合わせを行うワークフローのプロトタイプ。ローカルのExpressサーバと最小限のUI、Playwrightを使ったGoogle Mapsの検索・取得ロジックを備え、営業・予約・在庫確認などの一般的な問い合わせを自動化するための設計を示します。規制対象品目の探索には使わないよう注意喚起があります。

自動化GoogleMapsTypeScript
Tool

Any Auto Register（多プラットフォーム自動アカウント登録）

多プラットフォームのアカウントを自動で作成・管理するためのPython製ツール。プラグイン方式で新しいプラットフォーム／メールサービス／キャプチャ解決器を追加でき、API実行・ヘッドレス／有頭ブラウザ実行を切り替え可能。プロキシプール管理や並列実行、SSEによるリアルタイムログなど運用に便利な機能を備え、学習・研究目的で提供されている。

自動化アカウント管理Python