概要

本リポジトリは「タスク非依存（task-agnostic）」な継続適応手法を大規模言語モデル（LLM）に適用・評価するための実装群です。標準的・長期的な継続学習ベンチマークを提供し、T5_large や LLaMA3 を初期モデルとして用いた実験が含まれます。READMEには手法図・比較図が含まれ、conda 環境の作成や依存関係のインストール手順も記載されています。

リポジトリの統計情報

• スター数: 34
• フォーク数: 12
• ウォッチャー数: 34
• コミット数: 12
• ファイル数: 15
• メインの言語: Python

主な特徴

• タスクラベルに依存しない継続適応フレームワークの実装と可視化（手法図、比較図を同梱）
• 継続学習ベンチマーク（standard CL benchmark / long CL benchmark）を収録
• T5_large と LLaMA3 を用いた実験設定・初期モデル定義をサポート
• 環境構築と再現実験用のスクリプト・設定ファイルを整備

技術的なポイント

本プロジェクトは「task-agnostic continual adaptation」をテーマに、タスク境界やタスクラベルを利用せずにモデルを継続的に適応させる実験基盤を提供します。README に示された図（fig/main.png, fig/algorithm.png）は手法の概念と比較結果を視覚化しており、手法のワークフローやアルゴリズムの流れを理解しやすくしています。実験は短期（standard CL benchmark）と長期（long CL benchmark）のタスクシリーズを用意し、変化するデータ分布や累積的な忘却（catastrophic forgetting）に対する適応性能を評価します。構成面では CL_Benchmark ディレクトリにベンチ設定、configs と configs_llm に各種ハイパーパラメータやモデル固有設定が格納され、初期モデル（inital_model/t5_large, inital_model/llama3）を切り替えて比較可能です。実行は conda 環境の作成から依存関係インストールまで手順が示されており、研究の再現性と拡張性を念頭に置いた設計になっています。

プロジェクトの構成

主要なファイルとディレクトリ：

• .gitignore: file
• CL_Benchmark: dir
• README.md: file
• configs: dir
• configs_llm: dir

…他 10 ファイル

まとめ

タスク非依存の継続適応をLLMで試すための実験基盤。再現性が高く比較が容易。

リポジトリ情報：

• 名前: AGI_HER_LLM
• 説明: AGI_HER_LLM
• スター数: 34
• 言語: Python
• URL: https://github.com/lcw2014/AGI_HER_LLM
• オーナー: lcw2014
• アバター: https://avatars.githubusercontent.com/u/68209637?v=4

READMEの抜粋：

task-agnostic continual adaptation for large language models

Comparison of Methods

Method

Experiments

Task Series

• standard CL benchmark: 1,2,3
• long CL benchmark: 4,5,6

Models

• inital_model/t5_large
• inital_model/llama3

Run Code

conda create -n tta-text python=3.10.12 
pip3 install -r requirements.txt
conda env crea...