小型再帰推論モデル — TinyRecursiveModels

AI/ML
小型再帰推論モデル — TinyRecursiveModels

小型再帰推論モデル — TinyRecursiveModels

TinyRecursiveModelsは，「Less is More: Recursive Reasoning with Tiny Networks」で提案されたTiny Recursion Model（TRM）の実装リポジトリです。わずか7Mパラメータの小型ニューラルネットワークを再帰的に適用することで、ARC-AGIベンチマークで高い性能（ARC-AGI-1で45%、ARC-AGI-2で8%）を達成します。本リポジトリは論文のコードと設定、データ処理スクリプトを含み、軽量モデルによる反復的推論の実験を再現・検証するための最小限実装を提供します。

https://github.com/SamsungSAILMontreal/TinyRecursiveModels

概要

TinyRecursiveModelsは、再帰的推論（recursive reasoning）を小型ネットワークで実現することを目的としたコードベースです。論文「Less is More: Recursive Reasoning with Tiny Networks」で提案されたTiny Recursion Model（TRM）は、モデル本体を非常に小さく保ちながら同一モデルを何度も再帰的に適用することで、複雑な推論タスクに対応します。本リポジトリには、モデル定義、学習・推論用スクリプト、設定ファイル、データ処理用ディレクトリなどが含まれており、ARC-AGIなどの推論ベンチマークでの実験を再現するための最小構成が提供されています。設計方針は「少ないパラメータで反復的に考える」ことで、計算資源を抑えつつ高性能を目指す点にあります。

GitHub

リポジトリの統計情報

  • スター数: 30
  • フォーク数: 7
  • ウォッチャー数: 30
  • コミット数: 4
  • ファイル数: 12
  • メインの言語: Python

主な特徴

  • 小型モデル設計：7Mパラメータ程度の軽量ネットワークで構成。
  • 再帰的推論：同一ネットワークを反復適用して内部表現を逐次改善。
  • ベンチマーク実績：ARC-AGI-1で45%、ARC-AGI-2で8%の結果を報告。
  • 最小実装：論文再現に必要なコード・設定のみをコンパクトに収録。

技術的なポイント

TRMの核心は「反復適用（recursion）」による表現改善にあります。一度の順伝播で解答を得るのではなく、小さなネットワークを複数回適用して推論を深めることで、表現の段階的精緻化を実現します。このアプローチは大規模なワイドモデルに比べてパラメータ数を抑えつつ、計算を繰り返すことで複雑な推論を達成する点が特徴です。実装面では、モデルアーキテクチャは軽量化（層数・幅の削減、効率的な注意機構やMLP設計）を重視し、再帰ステップの数や停止基準をハイパーパラメータで制御します。データ処理や入出力フォーマットはARC-AGI用に整備されており、反復ごとの中間表現やログを収集する仕組みを備えています。学習は小規模な計算資源でも回せるようミニバッチやチェックポイントが工夫され、推論時は反復回数を調整することで速度と精度のトレードオフを管理します。論文は再帰の有効性と「小さな資源で高い合理性」を経験的に示しており、本実装はその検証基盤として機能します。

プロジェクトの構成

主要なファイルとディレクトリ：

  • LICENSE: file
  • README.md: file
  • assets: dir
  • config: dir
  • dataset: dir
  • models: dir（モデル定義や重み読込スクリプトが入る想定）
  • train.py: file（学習ループ）
  • eval.py: file（評価・推論スクリプト）
  • utils.py: file（ユーティリティ関数）
  • scripts: dir（実験起動スクリプト）
  • requirements.txt: file
  • experiments: dir（設定と結果を整理するディレクトリ）

…他 7 ファイル

リポジトリは最小限の再現性重視構成になっており、configディレクトリで再帰ステップ数や学習率などの実験設定を切り替えられます。datasetディレクトリはARC-AGIなどの入力フォーマット変換やサンプルを格納する用途で整理されています。assetsには結果可視化や補助リソースが含まれます。

まとめ

少ないパラメータで反復的に推論を深める研究と実装が簡潔にまとまっており、軽量モデルの可能性を示す好例です。

リポジトリ情報：

READMEの抜粋：

Less is More: Recursive Reasoning with Tiny Networks

This is the codebase for the paper: “Less is More: Recursive Reasoning with Tiny Networks”. TRM is a recursive reasoning approach that achieves amazing scores of 45% on ARC-AGI-1 and 8% on ARC-AGI-2 using a tiny 7M parameters neural network.

Paper

Motivation

Tiny Recursion Model (TRM) is a recursive reasoning model that achieves amazing scores of 45% on ARC-AGI-1 and 8% on ARC-AGI-2 with a tiny 7M …