AN1 Core — 意味フィールドのリファレンス実装

AI/ML
AN1 Core — 意味フィールドのリファレンス実装

AN1 Core — 意味フィールドのリファレンス実装

AN1 Coreは「意味フィールド（meaning fields）」という現象を示す研究用リファレンス実装です。Llama-70Bの早期層の活性化を低ランクの意味フィールドに圧縮し、層を凍結したまま小さなヘッドでフルファインチューニングと同等以上の精度を達成します。本リポジトリは論文と再現可能なベースラインを含み、商用のTurbo最適化などの独自実装はIP保護のため除外されています。研究者やエンジニア向けに、現象のコア部分を明快に示す設計と実験コードを提供します。

https://github.com/Anima-Core/an1-core

概要

AN1 Coreは、トランスフォーマーモデル（例：Llama-70B）の早期層から得られる表現（activation）を「意味フィールド」と呼ばれる低ランク表現に圧縮し、モデルの早期層を凍結（frozen）したまま小さなヘッドだけでタスク性能を維持または向上させることを示す研究実装です。リポジトリには論文、再現可能な実験スクリプト、ベースラインが含まれており、商用の高速化最適化（Turbo等）はIP保護のため除外されています。研究者が現象の本質を追試・拡張しやすいように、クリーンで読みやすいPythonコードでコア実装を提供しています。

GitHub

リポジトリの統計情報

  • スター数: 7
  • フォーク数: 2
  • ウォッチャー数: 7
  • コミット数: 16
  • ファイル数: 9
  • メインの言語: Python

主な特徴

  • 早期層の活性化を低ランクの「意味フィールド」に圧縮して保存・再利用する新しい推論手法。
  • 早期層を凍結し、小さなヘッドだけでファインチューニングを行い、フルファインチューニングと同等以上の性能を実現。
  • 論文全文と再現可能な実験セットアップ（ベースライン）を含む研究グレードの実装。
  • 商用Turbo最適化を除去し、オープンな検証と拡張を重視したクリーンなコードベース。

技術的なポイント

AN1 Coreの核心は「post-transformer inference」と呼べるワークフローで、トランスフォーマーの早期層で得られる高次元活性化を低ランク表現に射影し、これを意味フィールドとして保持する点にあります。具体的には、Llama-70Bのような大規模モデルに対し、前半の層出力を固定（freeze）したまま、出力活性化の主成分や低ランク近似を抽出して保存します。これにより推論時には元の高次元表現を全て再計算する必要がなく、低ランク表現＋軽量ヘッドで同等のタスク適合が可能になります。

実装面では、活性化の圧縮に対して安定した線形代数処理（SVDやランダム射影など）の利用が想定され、訓練可能な小型ヘッドは圧縮表現からタスク出力へマッピングします。重要な技術的利点は、モデルの内部表現の「意味」が早期層に十分に保存されているという実証で、これが成立する限り、重いパラメータ更新を伴うフルファインチューニングが不要になります。結果として計算コストとメモリ消費を抑えつつ、デプロイの柔軟性が向上します。

リポジトリは研究再現性を重視しており、論文で示された各実験の設定、データ処理、評価方法が含まれています。また、Anima-Coreは商用の高速化（Turbo）を意図的に除外し、アルゴリズムの透明性と法的安全性を確保しています。これにより他研究者が容易に手法を検証・拡張でき、意味フィールドの一般性や他モデルへの適用可能性を追試できます。将来的には、より強力な圧縮スキームや適応的ランク決定、オンデバイス推論のための軽量化戦略などの研究に直接つながる基盤を提供します。

プロジェクトの構成

主要なファイルとディレクトリ：

  • .gitignore: file
  • LICENSE: file
  • README.md: file
  • WALKTHROUGH.md: file
  • an1_core: dir

…他 4 ファイル

（an1_core ディレクトリには、コアの圧縮・復元モジュール、ヘッド定義、実験ランチャーなどのPythonモジュールが含まれている想定です。READMEとWALKTHROUGHに再現手順と論文へのリンクがまとまっています。）

まとめ

早期層の低ランク意味表現で性能維持を実証した、再現性重視の研究実装。

リポジトリ情報：

  • 名前: an1-core
  • 説明: A reference implementation of AN1 Core, a post-transformer inference method that compresses Llama-70B activations to a low-rank meaning field while preserving accuracy. Includes the full scientific paper and reproducible baselines. Proprietary Turbo optimizations are removed for IP protection.
  • スター数: 7
  • 言語: Python
  • URL: https://github.com/Anima-Core/an1-core
  • オーナー: Anima-Core
  • アバター: https://avatars.githubusercontent.com/u/244866249?v=4