AutoKernel — GPUカーネル自動探索ツール

ToolGPUTritonPyTorch

RightNow-AI/autokernel

★ 1,620

GitHub →

概要

AutoKernelは「Autoresearch for GPU kernels」を掲げる実験的ツールで、PyTorchモデルに対して自動的に最適化されたTritonカーネルを探索します。エージェントはリポジトリ内の一つのファイルを変更し、事前定義の評価（ベンチマーク）を実行して性能を測定。変更で性能が向上すればその改変を保持し、悪化すれば元に戻すという単純なサイクルを繰り返すことで、継続的にカーネルの性能を改善します。karpathyのautoresearchに触発されたアプローチをGPUカーネル領域に適用したもので、研究やプロトタイプ作成に適した道具です。

GitHub

リポジトリの統計情報

  • スター数: 3
  • フォーク数: 1
  • ウォッチャー数: 3
  • コミット数: 28
  • ファイル数: 19
  • メインの言語: Python

主な特徴

  • PyTorchモデルを入力に、Tritonカーネルの自動探索と最適化を目指す。
  • エージェントがソースを変更→評価→保持／差し戻しを繰り返す自己改善ループ。
  • 実験的で継続実行可能な自律探索フロー。長時間の探索に向く設計。
  • シンプルな評価ハーネスにより、目的関数（実行時間など）に基づく判定が可能。

技術的なポイント

AutoKernelの核となるアイデアは「自動で試行を繰り返し、実行性能に基づいて変更を採否する」という非常に単純だが効果的なメタアルゴリズムです。TritonはGPU向けに高性能なカーネルを記述できるフレームワークであり、AutoKernelはそのTritonカーネル（あるいは関連するコード）を対象に小さな改変を入れてビルド／ベンチを回します。READMEにある通りエージェントは「1ファイルを変更」→「固定の評価を実行」→「良ければ保持、悪ければ戻す」を繰り返すため、局所探索（hill-climbing）的な振る舞いになります。

この構成の利点は、実際のハードウェア上での実行時間など実用的な指標を直接最適化できる点です。コンパイラ最適化や理論的モデルに頼らず、実機ベンチの結果に基づくため、微妙なメモリアクセスやスレッド編成、ループ展開などハードウェア寄りの改善が見つかりやすいです。一方で、探索空間が大きく評価コストが高いため、探索戦略、変更のスコープ（どのパラメータ／コード片を変えるか）、安定した評価プロトコル（ウォームアップ、平均化、再現性確保）が重要になります。

リポジトリにはanalysi.pyのような分析・ベンチ用スクリプトが含まれており、評価の自動化や結果の集計を行うための土台が用意されています。karpathy/autoresearchの思想を受け継ぐため、完全自律で長時間走らせることを想定した作りになっており、改善の履歴を残しつつ良い変更のみを採用していくワークフローです。将来的にはメタ探索アルゴリズム（ランダム探索、ベイズ最適化、遺伝的アルゴリズムなど）や、より洗練された差分スコアリング、マルチメトリクス最適化（スループットと精度のトレードオフ）を組み合わせる余地があります。

プロジェクトの構成

主要なファイルとディレクトリ：

  • .gitignore: file
  • .python-version: file
  • LICENSE: file
  • README.md: file
  • analysis.py: file

…他 14 ファイル

（注：リポジトリ全体は小規模で、主要ロジックと評価スクリプトが中心になっています。）

まとめ

自律的にTritonカーネルを探索する実験的ツール。研究用途に有用。

リポジトリ情報：

READMEの抜粋：

AutoKernel

Autoresearch for GPU kernels. Give it any PyTorch model, go to sleep, wake up to optimized Triton kernels.

AutoKernel Progress

Inspired by @karpathy/autoresearch – which demonstrated autonomous AI agents for LLM training research. AutoKernel applies the same philosophy to GPU kernel optimization: agent modifies one file, runs a fixed evaluation, keeps or reverts, repeats forever.

How It Works

Give AutoKernel a…

関連記事

AI/ML

SAGE-GRPO — 動画生成向けマニフォールド認識探索と強化学習

SAGE-GRPOは「Manifold-Aware Exploration for Reinforcement Learning in Video Generation」を実装した公式リポジトリです。本プロジェクトは、高次元で構造化された動画生成空間に対してマニフォールド（潜在構造）を意識した探索戦略を導入することで、強化学習を用いた生成品質と探索効率を改善することを目的としています。PyTorch実装、結果再現用のチェックポイントやダウンロードスクリプト、可視化用のアセット類が含まれ、論文（arXiv）やプロジェクトページへのリンクも提供されています（300字程度）。

強化学習動画生成マニフォールド
AI/ML

TorchCode — PyTorch実装演習と面接対策

TorchCodeは「LeetCodeのようにテンソル操作を練習する」ことを目的にしたJupyterベースの教材リポジトリです。softmaxやattention、GPT-2など重要な演算・アーキテクチャを「スクラッチで実装」して理解を深めるための課題群と、自動採点による即時フィードバックを提供します。自己ホスティング可能でDockerサポートを備え、面接や実践的なスキル習得を目指す研究者・エンジニアに適しています。（約300字）

PyTorch教育深層学習
AI/ML

DINOV3_YOLO：DINO Vision Transformerをバックボーンに持つYOLOv13

DINOV3_YOLOは、最先端の物体検出モデル「YOLOv13」に、自己教師あり学習で高性能を誇るDINOのVision Transformer（ViT）バックボーンを組み合わせたリポジトリです。PyTorchを用いた実装であり、CUDA対応の環境で高速かつ高精度な物体検出を実現します。最新のViT技術とYOLOの高速性を融合し、検出性能の向上を目指した研究開発に最適なフレームワークを提供しています。

物体検出Vision TransformerYOLO
AI/ML

St4RTrack：世界座標系での同時4D再構築と追跡

St4RTrackは、RGB映像入力から動的なシーンの4D（3D空間＋時間）再構築とトラッキングを同時に行う統一されたフレームワークです。世界座標系に基づき、物体やカメラの動きを高精度に推定し、映像解析やAR/VRなど多様な応用に貢献します。本リポジトリはICCV 2025論文の公式PyTorch実装であり、動的シーン理解の最先端技術を提供します。

4D再構築動的シーン理解トラッキング
AI/ML

DeTok: 潜在的ノイズ除去による高性能ビジュアルトークナイザー

DeTokは、論文「Latent Denoising Makes Good Visual Tokenizers」の公式PyTorch実装です。本リポジトリは、潜在空間におけるノイズ除去技術を活用し、高品質な視覚トークン化を実現する手法を提供します。視覚情報の効率的な離散表現を目指し、画像生成や認識タスクの基盤技術として応用可能です。GPU対応で高速な実験が行え、論文の再現性と拡張性に優れています。

[視覚トークナイザー潜在変数モデルPyTorch